Un nuevo estudio de aprendizaje automático cuestiona uno de los supuestos más asentados del post-entrenamiento de modelos de lenguaje: que los beneficios del aprendizaje por refuerzo (RL) se distribuyen de forma pareja entre todas las capas del transformer. Los autores demuestran que entrenar una única capa puede recuperar la mayor parte de las mejoras obtenidas con el ajuste completo de parámetros e, incluso, superarlas en algunos casos.
Para medir el fenómeno, introducen el concepto de "contribución de capa", definido como la fracción de la ganancia total de RL que se recupera al entrenar una capa de forma aislada. En experimentos con siete modelos de las familias Qwen3 y Qwen2.5, y con tres algoritmos de RL distintos (GRPO, GiGPO y Dr. GRO), observan un patrón estable: las ganancias se concentran en un subconjunto muy pequeño de capas, a menudo una sola.
El hallazgo más llamativo es que las capas de alta贡献 se ubican de forma sistemática en la zona media del stack del transformer, mientras que las cercanas a la entrada y la salida aportan mucho menos. Además, el ranking de capas resultante se mantiene muy correlacionado al cambiar de conjunto de datos, tarea, familia de modelos y algoritmo de RL, lo que sugiere una propiedad estructural del modelo y no un artefacto experimental.
El trabajo tiene implicaciones prácticas para la eficiencia del post-entrenamiento: si la mayor parte de la mejora proviene de unas pocas capas, será posible reducir de forma drástica el cómputo y la memoria necesarios para adaptar modelos grandes, abriendo la puerta a técnicas de RL más ligeras y selectivas.