Un programa lineal optimiza el entrenamiento de modelos de IA

Fuentes: A Linear Program Optimizes AI Model Training More Efficiently

Un equipo de investigación de MIT CSAIL ha demostrado que un programa lineal (LP) puede resolver problemas de programación de espacio de pesos en modelos de lenguaje, superando a los métodos de entrenamiento tradicionales. En un experimento publicado recientemente, el modelo GPT-6 Astra identificó el juego al que había sido entrenado a partir de sus pesos crudos y, al conocer las reglas de un juego, escribió desde cero los pesos de una red neuronal pequeña para superar a las redes entrenadas con PPO tras 100 millones de pasos, sin utilizar gradientes ni bucles de entrenamiento.

En otro caso, Astra mejoró la capacidad matemática de Qwen3.5-0.8B editando solo el 0,016% de sus pesos, lo que elevó la precisión en MATH-500 del 7,9% al 48,1%. El análisis técnico revela que la búsqueda de Astra resolvía esencialmente un programa lineal mediante prueba y error, consumiendo 8 horas y 28 pasos hacia adelante. En comparación, la resolución de un LP estándar completaba la misma tarea en un minuto, con 8 veces menos cambios de pesos. El proceso de Astra se centraba en corregir bucles de razonamiento en el modelo, identificando la dirección del flujo residual y ajustando las matrices de proyección para invertir la tendencia de bucle. Los resultados indican que el enfoque basado en LP es más eficiente y preciso, permitiendo optimizar el rendimiento del modelo con una fracción del tiempo y recursos computacionales requeridos por los métodos de búsqueda exhaustiva.