El artículo 'Looping Beyond Twice: A Scalable Recipe for Looped Mixture-of-Experts' presenta LOOM, un marco de escalabilidad para modelos de lenguaje grandes (LLM) que utiliza la profundidad recurrente en arquitecturas Mixture-of-Experts (MoE). A diferencia de los Transformers estándar, LOOM introduce bucles adicionales para aumentar la profundidad efectiva sin incrementar el número de parámetros, abordando la limitación de los modelos MoE actuales, que suelen saturarse tras dos iteraciones debido a la acumulación de varianza y el colapso en la selección de expertos.
La propuesta técnica se basa en tres pilares: la estabilización del estado recurrente mediante la escalado de actualizaciones residuales y la reinyección de embeddings de entrada; la diversificación computacional mediante routers por bucle que activan expertos distintos; y el uso de un Residual de Bucle para mantener coherencia. Los experimentos con modelos de 100M a 1.7B parámetros demuestran que LOOM permite escalar de forma estable hasta 9 o 12 bucles. En comparaciones de igual costo computacional (FLOPs), el modelo de 700M parámetros alcanza su mejor rendimiento con 5 bucles, reduciendo la perplexidad de 18.36 a 16.54 y mejorando la precisión en tareas de cero-shot del 38.84% al 39.53%. Sin restricciones de FLOPs, el modelo de 1.7B parámetros optimizado con 60B tokens alcanza su pico en 9 bucles, mejorando la perplexidad de 9.62 a 7.77 y la precisión de 42.4% a 47.7%. El código fuente está disponible públicamente para su implementación y evaluación.