El artículo "Something Big Is (not) Happening" explora las limitaciones actuales de los grandes modelos de lenguaje (LLMs) a pesar de su impresionante capacidad para generar código. La premisa central es que, si bien los LLMs son excelentes en tareas que se pueden definir como la creación de algo que “funciona” (como generar código que se ejecuta), carecen de una comprensión fundamental del mundo y de la capacidad de tomar decisiones significativas.
La analogía del tren y los sherpas ilustra este punto: los LLMs pueden simular el progreso (el tren), pero no pueden resolver problemas que requieren juicio y adaptación a circunstancias complejas (escalar montañas). El autor, un experto en encontrar formas de eludir las capacidades de los LLMs (“Stumpers”), destaca que estos modelos fallan en tareas aparentemente simples que requieren comprensión contextual, como contar letras en una palabra o identificar emojis. Esta incapacidad se debe a que los LLMs operan a un nivel superficial, procesando información como relaciones entre tokens (unidades de texto) sin una verdadera comprensión del significado o la relación espacial.
El artículo explica que la programación es inherentemente una tarea de “funcionar”, donde el resultado es lo único que importa, no el porqué funciona. Esto contrasta con otras disciplinas, como el derecho, donde la interpretación es constante y crucial. Los LLMs pueden ser útiles para buscar información legal, pero no pueden reemplazar el juicio humano en decisiones importantes. La aparente capacidad de los LLMs para “pensar” o tener “gustos” es, según el autor, una consecuencia de la forma en que fueron entrenados, imitando el trabajo de programadores humanos.
Finalmente, el artículo enfatiza que siempre habrá tareas que los LLMs no puedan realizar, requiriendo la intervención humana para comprender y solucionar problemas. Esta necesidad de “mecánicos” que examinen el funcionamiento interno de los LLMs asegura que la innovación y la comprensión humana sigan siendo esenciales, incluso en una era de inteligencia artificial avanzada. La incapacidad de reproducir obras complejas como la Crítica de la Razón Pura de Kant, debido a su dependencia de la disposición espacial del texto, es un ejemplo clave de esta limitación fundamental.