El artículo 'Cortex: Consolidating Context into Parametric Memory', presentado en arXiv en octubre de 2026, introduce un nuevo enfoque para mejorar el rendimiento de los modelos de lenguaje grandes (LLM) mediante la consolidación del contexto. A diferencia de los métodos tradicionales que dependen de la memoria externa, Cortex busca internalizar las ganancias obtenidas por el contexto dentro de la arquitectura del modelo, preservando simultáneamente las capacidades no objetivo. Esta estrategia se inspira en los sistemas biológicos de consolidación de la memoria y unifica la edición de contexto, el aprendizaje de habilidades y la orientación comportamental bajo un único objetivo.
Para evaluar esta metodología, los autores desarrollaron un banco de pruebas de cinco tareas que mide la consolidación y la retención bajo actualizaciones individuales, por lotes y secuenciales. Cortex opera generando consultas prospectivas para anticipar el uso del contexto y destilando las salidas condicionadas al contexto en actualizaciones de baja dimensión o de red de feed-forward estructuradas que son fusionables. El sistema ha sido probado en esqueletos de modelos densos y de mezcla de expertos (MoE) que van desde 4B hasta 120B parámetros, incluyendo modelos de texto solo y multimodales.
Los resultados demuestran que Cortex se sitúa en la frontera de Pareto empírica entre consolidación y retención en la mayoría de los escenarios evaluados. En un caso específico con un modelo de 14B parámetros, Cortex-Structural recuperó el 88,9% de la ganancia inducida por el contexto tras 50 ediciones factuales secuenciales, manteniendo el 99,8% del rendimiento original en capacidades no objetivo. Este avance sugiere que la consolidación paramétrica puede ofrecer una solución más eficiente y duradera para la gestión del contexto en modelos de lenguaje de gran escala.