La destilación on-policy (OPD) ha demostrado fortalecer el razonamiento de los modelos de lenguaje, pero su impacto en la adquisición de conocimiento factual nuevo sigue siendo incierto. Un estudio reciente utiliza un marco sintético controlado para separar estas capacidades, midiendo las habilidades iniciales del estudiante e independientemente controlando si el maestro añade hechos nuevos, habilidades compositivas o ambas. A través de cuatro modelos de tres familias distintas, los resultados muestran que la OPD con KL inverso (reverse-KL) transfiere de manera fiable la habilidad compositiva para el razonamiento multi-paso en estructuras de razonamiento no vistas, pero transfiere un conocimiento factual mínimo. Al desacoplar la receta de destilación, se revela la fuente de esta asimetría: reemplazar el KL inverso por KL hacia adelante (forward KL) restaura la transferencia de conocimiento factual, mientras que los rollouts del estudiante mejoran específicamente la ejecución del razonamiento multi-paso. Experimentos adicionales en preguntas de comprensión de hechos recientes y matemáticas de competición confirman esta asimetría bajo la OPD con KL inverso, generando mejoras notables en el razonamiento sin expansión de la memoria factual. Estos hallazgos demuestran que la destilación on-policy no expande el conocimiento paramétrico de un modelo, sino que le enseña a organizar y componer el conocimiento que ya posee.
Noticias agregadas con IA