La destilación de políticas inducidas por el aprendizaje por refuerzo (RL) permite reutilizar la diferencia en las probabilidades logarítmicas de un modelo maestro antes y después del entrenamiento RL como supervisión para modelos de estudiante. Sin embargo, este enfoque tradicional no distingue si los cambios en las preferencias de acción locales evolucionaron de manera consistente durante el entrenamiento del maestro, ya que un mismo desplazamiento final puede deberse a ajustes tempranos y tardíos que se refuerzan o se cancelan parcialmente. Para abordar esta limitación, se introduce Waypoint-guided On-Policy Distillation (Waypoint-OPD), un método que utiliza un punto de control intermedio del maestro, obtenido en el mismo ejecución de RL, para comparar los desplazamientos tempranos y tardíos en las preferencias de acción relativas en los prefijos visitados por el estudiante. El método aplica una puerta lógica (gating) al desplazamiento final según el acuerdo direccional entre ambos cambios, suprimiendo el desplazamiento final cuando las direcciones de los ajustes son opuestas. A diferencia de la transferencia basada únicamente en el punto final, Waypoint-OPD requiere solo una pasada adicional de puntuación con el maestro congelado. En las evaluaciones realizadas con modelos maestros Qwen3-4B entrenados con RL, el método se probó con estudiantes Qwen3-8B, Qwen3-14B y Qwen3-30B-A3B en razonamiento matemático y de código. En todos los seis escenarios de dominio y estudiante comparados, Waypoint-OPD alcanzó la puntuación media de dominio más alta entre los métodos de destilación evaluados. Las abstracciones con un estudiante Qwen3-8B demostraron que la eliminación o el desorden de las puertas reduce el rendimiento en el razonamiento matemático. Estos resultados respaldan el uso del acuerdo direccional entre los desplazamientos de políticas tempranos y tardíos para ponderar el desplazamiento final durante el entrenamiento del estudiante.
