Casi cuatro años después del lanzamiento de ChatGPT, los modelos de lenguaje grandes (LLM) arrastran las mismas cuatro limitaciones de fondo que ya mostraba GPT-3.5: son malos en matemáticas, están estancados en el tiempo, tienen una ventana de memoria corta y reproducen los peores sesgos de internet. Lo que ha cambiado no son los modelos, sino las herramientas que los envuelven.
En el caso de las matemáticas, el artículo explica que un LLM nunca calcula de verdad: predice el siguiente token imitando el algoritmo escolar de la suma. Por eso, al enviar 200 sumas simples a GPT Sol High a través de la API, el modelo falló una. ChatGPT y Claude resuelven el mismo problema porque su aplicación (el "harness" o envoltura) detecta cuándo delegar el cálculo a un script de Python. Esa llamada a herramientas se estandarizó con Toolformer de Meta y, desde finales de 2024, con el Model Context Protocol (MCP) de Anthropic, que permite conectar cualquier herramienta externa.
Sobre la obsolescencia, cada modelo tiene una fecha de corte de entrenamiento y queda "congelado" a partir de ella. La solución habitual es la generación aumentada por recuperación (RAG), que inyecta información externa actual en el prompt. Aun con ventanas de contexto de millones de tokens, RAG sigue siendo más barato y preciso, y herramientas como Claude Code o Codex prefieren búsqueda agentica con ripgrep frente a los índices vectoriales clásicos.
La conclusión es clara: aprender las limitaciones reales de los LLM permite entender mejor cada nueva ola de herramientas, que en su mayoría son parches ingeniosos sobre los mismos problemas de siempre.