HLA mejora la atención lineal híbrida en modelos de lenguaje

El artículo presenta HLA (Hybrid Linear Attention), un mecanismo de atención dependiente de la consulta diseñado para Gated DeltaNet (GDN). Esta técnica resuelve la limitación de la atención lineal estándar, que comprime el historial de forma fija y dificulta el acceso selectivo a información dispersa o lejana. A diferencia de las extensiones basadas en bloques con coeficientes fijos, HLA representa cada bloque completado como una transición afín exacta y calcula puertas de enrutamiento dependientes del contenido a partir de representantes compactos y auto-atentados. Cada puerta interpola la transición histórica con el mapa de identidad, controlando tanto la memoria aditiva del bloque como la transformación de estados anteriores. La regularización de soporte efectivo fomenta un enrutamiento concentrado para la inferencia dispersa. Los resultados evaluados en modelos Qwen3.5 (de 0.8B a 9B) muestran mejoras consistentes respecto a GDN nativo y mezcla de bloques fija, con ganancias de hasta 5.57 puntos porcentuales en LongBench-V2 y 3.97 en RULER. En un entorno de entrenamiento desde cero con 1.3B parámetros y contexto de 4K, HLA mejora el rendimiento en RULER al pasar de 4K a 32K, con un aumento de 4.22 puntos. Esto demuestra que la composición de memoria recurrente dependiente de la consulta mejora el modelado de contexto largo y mantiene su eficacia más allá del contexto de entrenamiento, utilizando resúmenes afines compactos por bloque.