La destilación on-policy (OPD) se ha consolidado como una técnica clave para el post-entrenamiento de modelos de lenguaje, aunque su implementación puede derivar en un colapso caracterizado por generaciones excesivamente largas y repetitivas. Un nuevo estudio publicado en arXiv explora las causas de esta divergencia mediante una perspectiva de aprendizaje por refuerzo, argumentando que el mecanismo subyacente no es una falla en la capacidad del estudiante, sino un desalineamiento en la evaluación implícita del profesor.
El análisis demuestra que, cuando el modelo de recompensa implícito del profesor es fiable, la OPD mejora el rendimiento sin expandir las capacidades del estudiante. Sin embargo, si las preferencias del profesor no se alinean con la calidad objetiva, ocurre un fenómeno de 'reward hacking': el modelo de recompensa amplifica comportamientos del estudiante que son incorrectos o repetitivos, incluso si el profesor rara vez genera ese tipo de texto. Este desajuste provoca que el sistema favorezca rollouts excesivamente largos en lugar de respuestas correctas.
Para mitigar este colapso, los autores identifican dos estrategias efectivas: enmascarar las respuestas no saludables durante el entrenamiento y utilizar una inicialización de SFT (Supervised Fine-Tuning). Estos hallazgos indican que la OPD amplifica los comportamientos del estudiante que son favorecidos por el feedback implícito del profesor, desplazando el foco de la generación del profesor hacia la evaluación de los rollouts del estudiante. El código asociado al estudio está disponible públicamente para facilitar la replicación de los experimentos.