Nueva ley de escalado sugiere entrenar redes de billones de parámetros

Fuentes: New scaling law suggests training quadrillion-parameter networks

Un nuevo estudio publicado en arXiv propone una nueva ley de escalado para el entrenamiento de modelos de lenguaje, sugiriendo que para maximizar la eficiencia de muestras en datasets limitados, las redes neuronales deben alcanzar billones de parámetros. A diferencia de la prescripción de Chinchilla, que fija el tamaño del modelo, esta investigación demuestra que el tamaño óptimo de los parámetros crece proporcionalmente con el presupuesto de cómputo disponible. Al extrapolar sus resultados a un conjunto de datos de 5 billones de tokens, el número de parámetros recomendado es aproximadamente 7.000 veces mayor que el de Chinchilla para la misma cantidad de operaciones de coma flotante (FLOPs). El equipo de investigación, liderado por Baron et al., identifica que en el régimen de datos restringidos, donde el cómputo supera a la calidad del dato, es crucial aumentar simultáneamente el número de épocas de entrenamiento y el tamaño del modelo. Además, el estudio introduce el enmuestreo por instantáneas (snapshot ensembling) como un eje de escalado clave, ya que permite reducir la pérdida de entrenamiento sin coste adicional de cómputo. Los autores argumentan que las heurísticas anteriores, como la de MuP, no capturan la relación óptima entre el peso de la penalización de desajuste (weight decay) y el número de épocas. Su ley de escalado unificada, que incluye términos para el tamaño del modelo, el tamaño del dataset, las épocas y el enmuestreo, predice que la pérdida se mantiene baja incluso con modelos extremadamente grandes. Esta propuesta busca cerrar la brecha de eficiencia de muestras entre la inteligencia artificial y el aprendizaje humano, que presenta una diferencia de diez millones de veces en la relación tokens por parámetro.