Aleph Alpha presenta Savanna: el entrenamiento de modelos como código

Fuentes: Model Training as Code: How Aleph Alpha Builds Models as Software

Aleph Alpha ha presentado Savanna, una plataforma interna que codifica en software toda la cadena de entrenamiento de un modelo de inteligencia artificial, un enfoque que la compañía denomina Model Training as Code (MTaC). La iniciativa surge para resolver tres problemas crecientes del entrenamiento manual: la mayor complejidad de las etapas (pre-entrenamiento, ajuste fino supervisado o SFT, y aprendizaje por refuerzo o RL), el coste disparado de los errores cuando se queman miles de horas de GPU y la fragmentación organizativa entre equipos especializados que dependen de mensajes de Slack, hilos de memoria y documentos dispersos para coordinarse.

Savanna describe el flujo completo como funciones con entradas y salidas tipadas que se componen en un pipeline ejecutable con un solo clic. Esto aporta tres ventajas: composabilidad, ya que modificar una etapa equivale a editar una función y se pueden automatizar evaluaciones intermedias; consenso, porque la rama principal del repositorio concentra la receta colectiva del equipo y elimina pasos a reconstruir al lanzar un entrenamiento; y trazabilidad, gracias a los mensajes de commit y al código versionado que permite reproducir cualquier ejecución pasada.

Según la compañía, este modelo permite que cualquier equipo ejecute etapas ajenas y deje atrás la propiedad fragmentada por fase temporal. En su lugar propone una organización por capacidad —por ejemplo, la multilingüidad— de extremo a extremo. Para que funcione, Aleph Alpha recomienda prácticas de desarrollo trunk-based: integraciones pequeñas y frecuentes en la rama principal para evitar la deuda de integración y detectar errores temprano.