Los modelos de lenguaje de gran escala (LLMs) de última generación están demostrando una capacidad sorprendentemente avanzada para leer y escribir los pesos de las redes neuronales de forma nativa, sin necesidad de optimizadores tradicionales ni retroalimentación del entorno. Según recientes investigaciones publicadas por Rikiya T., este fenómeno, denominado 'Weight-Space Programming', marca un cambio de paradigma en la optimización y la interpretabilidad de la inteligencia artificial. A diferencia de lo que se esperaba de los humanos o de los algoritmos convencionales, estos modelos pueden analizar la estructura cruda de los pesos para determinar el comportamiento de una red, incluso cuando se les presenta con información limitada o nula.
En un experimento inicial, el modelo GPT-6 Astra fue capaz de identificar de qué juego se entrenó una red neuronal, simplemente analizando sus pesos sin ejecutar el modelo ni recibir feedback del entorno. La red estaba entrenada para jugar cuatro juegos de ordenador distintos utilizando el algoritmo PPO, pero todas compartían la misma arquitectura y entradas. Astra logró nombrar correctamente el juego de cada red basándose en características específicas de los pesos, como la concentración de las primeras capas en filas específicas (por ejemplo, la fila inferior para Breakout) y la diferenciación de acciones en la capa de salida. Este hallazgo sugiere que el modelo está leyendo la geometría de los pesos en lugar de calcular pasadas hacia adelante, lo que indica una comprensión estructural profunda.
La capacidad de los LLMs trasciende los juegos simples. En otro experimento, Astra identificó qué tipo de imagen generaba cada modelo de difusión (DDPM) entrenado para círculos, triángulos y cuadrados, solo mirando los pesos. Aunque cometió el error de describir las formas como contornos en lugar de formas rellenas, su precisión en la identificación de la tarea subyacente demuestra que puede analizar la estructura de los pesos intermedios sin ejecutar la red. Esto es crucial, ya que en los modelos de lenguaje grandes, el procesamiento de la entrada ocurre en capas intermedias, no solo en las de entrada o salida.
Los resultados más impactantes se obtuvieron al aplicar esta técnica a modelos de lenguaje más complejos. Se entrenaron tres modelos pequeños de 7,2 millones de parámetros para predecir caracteres en Python, romaji (japonés) y inglés. Al eliminar las capas de entrada y salida, dejando solo cuatro bloques de transformador, Astra fue capaz de identificar correctamente el idioma de entrenamiento de cada red y nombrar con precisión los 'cabezas de copia' (induction heads) responsables de repetir texto previo. En el caso de Python, el modelo identificó una cabeza de la primera capa que busca un carácter anterior y multiplica matrices para encontrar patrones posteriores, una técnica descrita por Elhage et al. que Astra aplicó de forma nativa.
Más allá de la interpretación, la capacidad de escritura nativa de pesos ha mostrado mejoras significativas. Cuando se le pidió a Astra mejorar las capacidades matemáticas de Qwen3.5-0.8B sin usar gradientes, el modelo identificó un problema en sus pesos que causaba bucles de razonamiento, un fallo documentado en la tarjeta del modelo. Al editar nativamente solo el 0,016% de los pesos, Astra corrigió este error. El resultado fue una mejora drástica: la puntuación en MATH-500 pasó del 7,9% al 48,1%, y la capacidad de seguimiento de instrucciones (IFEval) se triplicó. Estos logros se lograron sin permitir que Astra escribiera bucles de entrenamiento, utilizando únicamente su razonamiento para determinar qué parte de la red debe calcular y cómo ajustar los pesos.
Este avance tiene implicaciones profundas para el campo del aprendizaje profundo. Históricamente, los sesgos inductivos se han codificado en optimizadores simbólicos pequeños como Adam o Muon. Sin embargo, la tendencia actual apunta a que los pesos de las redes neuronales serán optimizados nativamente por LLMs que razonan deliberadamente sobre ellos. La capacidad de los LLMs para 'optimizar' pesos de redes diferenciables, algo que antes se consideraba fuera del alcance de la optimización por texto, está cambiando la forma en que se diseñan y entran los sistemas de IA. La era de la optimización impulsada por el razonamiento está llegando incluso a las redes neuronales diferenciables, abriendo nuevas vías para la creación de redes desde cero y la resolución de problemas de optimización complejos que antes requerían herramientas especializadas.