Los LLM premian la experiencia: saber del dominio importa más que el prompting

Fuentes: LLMs reward expertise

Este artículo reflexiona sobre un malentendido frecuente: pensar que los modelos de lenguaje de gran tamaño (LLM) han convertido a cualquier persona en un generalista capaz de obtener resultados equivalentes a los de un experto. El autor sostiene que la habilidad decisiva al usar un LLM no reside en la técnica de prompting, sino en el conocimiento profundo del dominio sobre el que se pregunta.

Para ilustrarlo, analiza la conversación que el matemático Terence Tao mantuvo con ChatGPT sobre un contraejemplo reciente de la Conjetura del Jacobiano. Tao formula mensajes breves, señala errores con tacto ("esto parece más complejo de lo que esperaba"), propone saltos propios y rara vez sigue las sugerencias del modelo. El resultado: respuestas mucho más concisas y de mayor nivel que las que obtiene un usuario medio. El autor recalca que reproducir esas preguntas concretas exige entender las matemáticas implicadas; las pautas formales no bastan.

El argumento se extrapola al desarrollo de software: quien conoce a fondo su código base puede guiar al LLM con preguntas específicas, evaluar soluciones alternativas y detectar resultados anómalos. Quien carece de ese conocimiento puede aferrarse al modelo para conseguir algo útil, pero extraerá mucho menos valor del mismo sistema. La conclusión es que, aunque los modelos sigan mejorando, la experiencia humana seguirá siendo el cuello de botella: la información ya está en el modelo, pero hace falta un humano competente para extraerla.