El artículo examina las causas y la evolución del desajuste entre entrenamiento e inferencia (training-inference mismatch) en el aprendizaje por refuerzo de los modelos de lenguaje grandes (LLM). Este fenómeno ocurre porque el motor de inferencia muestra respuestas mientras el entrenador calcula los gradientes, haciendo que los datos de entrenamiento sean off-policy. El estudio identifica dos fuentes principales de este desajuste: la discrepancia numérica del motor y el retraso de la política (policy lag) debido a la muestreo asíncrono. Se demuestra que centrar la puntuación en cada prefijo elimina el sesgo de la discrepancia numérica, mientras que el retraso de la política crea un bucle de retroalimentación que amplifica el error. La corrección por ponderación de importancia solo es efectiva mientras la relación de retraso se mantiene concentrada, fallando cuando la muestra efectiva cae por debajo de la mitad. A partir de este análisis, se deriva la corrección de discrepancia-retraso (DLC), que centra la discrepancia numérica, recorta la relación de retraso y resincroniza el muestreo. En los modelos Qwen3-0.6B y Qwen3-1.7B, la DLC mantiene la divergencia KL dentro de dos veces la divergencia entre dos entrenamientos on-policy independientes, previniendo colapsos que las correcciones por token no detectan.
