Múnich 1991: el año milagroso del deep learning que anticipó los LLM

Múnich 1991: el año milagroso del deep learning que anticipó los LLM. Este artículo repasa cómo el equipo de Jürgen Schmidhuber en la Universidad Técnica de Múnich publicó, entre marzo y agosto de 1991, los fundamentos de las técnicas que hoy sustentan los grandes modelos de lenguaje. En apenas cinco meses, su laboratorio introdujo la primera variante de Transformer (hoy llamada linear Transformer sin normalizar, antecesora directa de la T de ChatGPT), el concepto de preentrenamiento no supervisado (la P de ChatGPT), la destilación de redes neuronales y el aprendizaje residual profundo, pieza central de las LSTM y las ResNet. También publicó la primera revisión por pares de redes generativas adversariales para modelos del mundo entrenados con curiosidad artificial, base de la IA generativa actual. Según los autores, a enero de 2026 los dos artículos más citados de la historia (al margen de manuales) derivan directamente de aquel trabajo de 1991. Schmidhuber sitúa estas contribuciones en una línea más amplia que arrancó en 1987 con metaaprendizaje y mejora recursiva, y defiende que los grandes modelos de lenguaje por sí solos no alcanzarán la inteligencia artificial general sin planificación con modelos del mundo y robots versátiles. El texto, firmado por Schmidhuber y David Ha (Sakana AI), incluye un cronograma anotado de las publicaciones y referencias cruzadas a la historia del aprendizaje profundo.