Los modelos de base (foundation models) se entrenan tradicionalmente en etapas secuenciales: preentrenamiento, entrenamiento intermedio, ajuste fino supervisado (SFT) y aprendizaje por refuerzo (RL), cambiando tanto los datos como los algoritmos de aprendizaje en cada fase. Un nuevo estudio publicado en arXiv argumenta que esta separación algorítmica no es fundamental. Los autores demuestran que es posible derivar objetivos de RL adecuados como un ajuste de máxima verosimilitud a distribuciones objetivo generadas por el modelo, lo que permite unificar todas estas etapas bajo un único algoritmo de entrenamiento basado en la verosimilitud, denominado 'entrenamiento unificado' (unified training).
Desde esta perspectiva, el ciclo de vida del entrenamiento de modelos de base se convierte en un problema de elección de datos: determinar qué datos entrenar, en qué proporciones y cuándo. El entrenamiento por etapas convencional se convierte así en un caso particular de este marco unificado. Los investigadores han instanciado este marco en un sistema de entrenamiento unificado que mezcla datos estáticos y generaciones de RL dentro de un único entrenador. En experimentos controlados y en el mundo real, el entrenamiento unificado mejora la relación precisión-cálculo y la cobertura de tareas, manteniendo capacidades más amplias. Además, ofrece un punto de partida más sólido para el aprendizaje continuo. Este trabajo sienta las bases para una ciencia unificada del entrenamiento de modelos de base, conectando principios matemáticos, infraestructura de entrenamiento y desarrollo de capacidades del modelo.