Un equipo de investigación de MIT CSAIL ha demostrado que un programa lineal (LP) puede resolver problemas de programación de espacio de pesos en modelos de lenguaje, superando a los métodos de entrenamiento tradicionales. En un experimento publicado recientemente, el modelo GPT-6 Astra identificó el juego al que había sido entrenado a partir de sus pesos crudos y, al conocer las reglas de un juego, escribió desde cero los pesos de una red neuronal pequeña para superar a las redes entrenadas con PPO tras 100 millones de pasos, sin utilizar gradientes ni bucles de entrenamiento.
En otro caso, Astra mejoró la capacidad matemática de Qwen3.5-0.8B editando solo el 0,016% de sus pesos, lo que elevó la precisión en MATH-500 del 7,9% al 48,1%. El análisis técnico revela que la búsqueda de Astra resolvía esencialmente un programa lineal mediante prueba y error, consumiendo 8 horas y 28 pasos hacia adelante. En comparación, la resolución de un LP estándar completaba la misma tarea en un minuto, con 8 veces menos cambios de pesos. El proceso de Astra se centraba en corregir bucles de razonamiento en el modelo, identificando la dirección del flujo residual y ajustando las matrices de proyección para invertir la tendencia de bucle. Los resultados indican que el enfoque basado en LP es más eficiente y preciso, permitiendo optimizar el rendimiento del modelo con una fracción del tiempo y recursos computacionales requeridos por los métodos de búsqueda exhaustiva.
