Los modelos de lenguaje de gran escala (LLM) basados en arquitecturas Transformer poseen una capacidad intrínseca para copiar información de su contexto de entrada, aunque esta habilidad puede optimizarse mediante modelado explícito. Un nuevo estudio propone los Copy-Paste Language Models (CPLMs), una arquitectura que integra una cabeza ligera de 'Copy-Paste' junto a la cabeza convencional de modelado de lenguaje. Esta modificación busca mejorar la eficiencia del entrenamiento, el rendimiento en tareas posteriores y ofrecer nuevos puntos operativos en configuraciones de contexto largo y recuperación de información.
La validación del enfoque se realizó mediante el preentrenamiento de modelos con tamaños que van desde 135 millones hasta 1.700 millones de parámetros. Los resultados demuestran mejoras consistentes en todas las escalas y arquitecturas de base, con sobrecargas de entrenamiento e inferencia despreciables. El éxito de CPLMs se explica por su capacidad para mitigar parcialmente el cuello de botella de gradientes de la cabeza de modelado de lenguaje, utilizando una ruta de gradiente alternativa. Este avance técnico sugiere que la estructura de los modelos de lenguaje puede ser modificada para explotar mejor las capacidades de copia contextual, lo que podría tener implicaciones significativas para el desarrollo de sistemas de IA más eficientes y capaces de manejar contextos extensos.