δ-mem es un mecanismo de memoria en línea propuesto para abordar una de las limitaciones más desafiantes de los grandes modelos de lenguaje (LLMs): la acumulación y reutilización de información histórica en asistentes de largo plazo y sistemas multiagente. El problema fundamental es que simplemente expandir la ventana de contexto es costoso computacionalmente y frecuentemente no garantiza una utilización efectiva de dicho contexto. La solución propuesta consiste en añadir una memoria asociativa compacta al modelo base, manteniendo este completamente congelado (sin entrenamiento adicional). El funcionamiento de δ-mem se basa en dos componentes principales: primero, comprime información pasada en una matriz de estado de memoria online de tamaño fijo (solo 8x8 elementos), actualizada mediante una regla de aprendizaje delta; segundo, utiliza esta memoria para generar correcciones de bajo rango que se inyectan en el cálculo de atención del modelo backbone durante la generación de texto. Esta arquitectura permite capturar información relevante del historial conversacional sin necesidad de expandir el contexto ni reentrenar el modelo base. Los resultados experimentales son prometedores: con solo 8 parámetros de memoria, se logra mejorar el rendimiento promedio hasta 1.10 veces respecto al modelo base congelado y 1.15 veces respecto a las mejores alternativas de memoria existentes. En benchmarks específicamente diseñados para evaluar memoria, las mejoras son aún mayores: 1.31 veces en MemoryAgentBench y 1.20 veces en LoCoMo, mientras se preservan las capacidades generales del modelo. Las aplicaciones potenciales incluyen asistentes de IA de largo plazo, sistemas multiagente, y cualquier escenario donde el modelo necesite recordar información de interacciones previas sin la sobrecarga computacional de expandir ventanas de contexto. Entre las consideraciones importantes destaca que δ-mem funciona sin necesidad de fine-tuning del backbone, sin reemplazo de arquitectura, y sin expansión explícita de contexto, lo que lo hace especialmente atractivo para implementación en sistemas existentes. Sin embargo, el sistema tiene limitaciones en el tamaño de la información que puede almacenar (dada la matrices de estado fija) y los resultados dependen de la calidad del proceso de aprendizaje delta.
Investigadores crean memoria en línea eficiente para IA conversacional
