El artículo explora la naturaleza del razonamiento en los modelos de lenguaje de gran escala (LLM) mediante una analogía con la búsqueda de caminos (pathfinding) en el espacio de tokens. A diferencia de la intuición común de que pensar más a fondo garantiza una respuesta correcta, la evidencia muestra que alargar las cadenas de pensamiento puede dejar de ayudar o incluso empeorar el rendimiento. El texto argumenta que el objetivo del entrenamiento por refuerzo (RL) no es maximizar la longitud de la cadena, sino maximizar la probabilidad de que el modelo encuentre un camino que lleve a una respuesta verificada como correcta.
Se define el conjunto de respuestas correctas para un prompt dado como (\Scal_x). La probabilidad de éxito se calcula como la suma de las probabilidades de todos los caminos que el modelo genera que terminen en (\Scal_x). Esto permite entender dos mecanismos clave: la muestreo de múltiples caminos (best-of-k) y el entrenamiento del modelo para generar caminos más probables (fine-tuning por rechazo). El artículo demuestra que el entrenamiento por RL con recompensas verificables es matemáticamente equivalente al fine-tuning por muestreo de rechazo, lo que explica por qué las cadenas de pensamiento se vuelven más largas durante el entrenamiento: el modelo se ajusta para dar más peso a los caminos exitosos. Esta perspectiva técnica aclara fenómenos observados, como las cadenas de pensamiento infieles o el hacking de recompensas, al mostrar que el modelo no converge necesariamente a una única solución óptima, sino que optimiza la probabilidad estadística de encontrar una solución válida entre múltiples caminos posibles.
