El equipo de investigación de Meta, junto con la Universidad de Washington, MIT y Trillium Labs, ha presentado Context Language Models (CLMs), un nuevo enfoque para modelos de lenguaje que gestionan su propio contexto de forma nativa. A diferencia de las estrategias tradicionales de gestión de contexto, los CLMs tratan el contexto como un archivo de datos, permitiendo al modelo realizar actualizaciones sin restricciones sobre él. Esta arquitectura permite al modelo aprender qué información es más relevante para mantener en memoria y se extiende naturalmente a sistemas multiagente, donde múltiples contextos pueden coexistir como archivos independientes.
Los autores demuestran que implementar CLMs de forma zero-shot con modelos existentes supera a las estrategias de gestión de contexto del estado del arte en diversas tareas. En el benchmark BrowseComp-Plus, los CLMs logran una precisión un 11,4% superior con un 21,5% menos de operaciones de punto flotante (FLOPs) que los métodos anteriores. En EdgeBench, durante pruebas de 12 horas, los CLMs obtienen un 5% más de puntuación con un 59% menos de recursos computacionales. Además, en tareas de agentes multi-repositorio de 24 horas, los CLMs muestran una mejora del 65% en el rendimiento con el mismo nivel de cómputo.
El proyecto incluye implementaciones para el aprendizaje en contexto (in-context learning) y el aprendizaje por refuerzo, que mejoran la capacidad de los modelos para seguir instrucciones en lenguaje natural y optimizar su rendimiento. Los CLMs están integrados en la plataforma Harbor, permitiendo a los desarrolladores ejecutar agentes CLM mediante la línea de comandos clm-harbor. El trabajo está documentado en un preprint de arXiv y el código está disponible bajo licencia CC BY-NC 4.0.