Los modelos de lenguaje actuales poseen una capacidad de recuperación de información que supera las expectativas, permitiendo recordar hechos específicos y reglas de juegos complejos. Este artículo técnico explora la intuición detrás de cómo las capas lineales, las redes neuronales con múltiples capas (MLP) y la atención auto se comportan como diferentes tipos de almacenes de memoria. El análisis se centra en la capacidad de recuperación y la interferencia entre las memorias almacenadas, utilizando la relación interferencia-señal como métrica clave para definir la capacidad de un almacén.
Se describe el almacén de memoria lineal básico, que acumula memorias mediante productos exteriores, y se demuestra que su capacidad está limitada por la dimensión de las claves, ya que la interferencia crece con el número de memorias. Para superar esta limitación, el texto introduce mejoras algorítmicas: el almacenamiento óptimo lineal, que duplica la capacidad, y las MLP, que reducen la interferencia mediante no linealidades. Finalmente, se presenta la atención auto como un mecanismo que permite almacenar un número potencialmente ilimitado de memorias con una recuperación precisa, escalando de unas pocas decenas a más de un millón de memorias con claves de 64 dimensiones. Esta perspectiva unifica la comprensión de la arquitectura de los modelos de lenguaje, mostrando cómo la gestión de la interferencia y la recuperación de información define su rendimiento y capacidad de almacenamiento.