Describir los grandes modelos de lenguaje como simples «predictores del siguiente token» es una aproximación útil como punto de partida, pero incompleta y, según este argumento, equivocada como modelo mental. Los modelos base sí aprenden repitiendo, sobre corpus masivo, los tokens que aparecen después de una secuencia dada; así, durante el preentrenamiento el bucle se reduce a hacer más probable el token que efectivamente vino a continuación en los datos de entrenamiento. Sin embargo, los LLM que se usan en producción no son solo modelos base: se someten a postentrenamiento, y una pieza central hoy es el aprendizaje por refuerzo con recompensas verificables (RLVR). En este régimen el modelo explora generando secuencias nuevas y aprende de sus resultados, no de textos ya existentes; el token no se favorece por haber aparecido en el corpus, sino porque la secuencia explorada que lo contiene obtuvo una recompensa alta.
La analogía con dos motores de ajedrez aclara la diferencia. El primero aprende patrones de partidas de grandes maestros y predice la siguiente jugada de un humano: es predictor de la siguiente jugada. El segundo ha explorado exhaustivamente el espacio de juego y, ante una posición, elige la jugada que maximiza la probabilidad de ganar; no imita partidas previas, sino que decide en función de lo descubierto. Llamar «predictor de la siguiente jugada» a este segundo sistema sería raro, porque su objetivo no es reproducir lo registrado, sino ganar.
El artículo recuerda que otras técnicas de postentrenamiento, como RLHF, también desvían al modelo de imitar literalmente los datos de preentrenamiento para orientarlo hacia el rol de asistente útil, y que RLVR va más allá al permitirle descubrir ideas nunca presentes en el corpus. Por eso, reducir un LLM a predictor del siguiente token describe solo la forma del mecanismo —un token tras otro— y pasa por alto lo que ese mecanismo codifica: simulaciones de un asistente y conocimiento surgido de la exploración.