Nuevos modelos sin atención superan a los Transformers en tareas de lenguaje

Fuentes: Grassmann-based models outperform Transformers in language tasks

Un estudio reciente en machine learning propone una alternativa a la atención explícita en los modelos de secuencia, argumentando que esta técnica es matemáticamente opaca y poco eficiente para el razonamiento. Los autores introducen una arquitectura basada en flujos de Grassmann, que elimina la necesidad de matrices de atención tradicionales en favor de una propagación de información mediante deformaciones controladas de subespacios de bajo rango en una variedad geométrica. Este enfoque permite que la computación principal ocurra en un espacio de dimensión finita, ofreciendo una interpretación más estructurada y basada en invariantes geométricos del razonamiento neuronal. En las pruebas realizadas con el benchmark Wikitext-2, los modelos puramente basados en Grassmann, con entre 13 y 18 millones de parámetros, lograron perplexidades de validación dentro del 10 al 15 por ciento de las de los Transformers de tamaño equivalente. Además, en la tarea de inferencia de lenguaje natural SNLI, un cabezal de Plucker-Grassmann aplicado a DistilBERT superó ligeramente a la variante con atención, alcanzando una precisión de validación del 0,8550 frente al 0,8545 del modelo de referencia. El análisis técnico demuestra una escala lineal en la longitud de la secuencia para rangos fijos, sugiriendo que estos diseños de variedad ofrecen una ruta más eficiente y interpretable hacia el razonamiento geométrico en el aprendizaje automático.