El artículo técnico S3AC presenta un enfoque de aprendizaje por refuerzo (RL) para mejorar el razonamiento de los modelos de lenguaje de gran escala (LLM) mediante la integración de un componente crítico (critic). A diferencia de los métodos sin crítico que dependen de rollouts agrupados para estimar líneas base, S3AC utiliza un crítico entrenado para proporcionar ventajas específicas por token y líneas base específicas por prompt. Esta arquitectura aborda las limitaciones de los métodos actuales, que suelen carecer de asignación de crédito a nivel de token y sufren de gradientes dominados por la cabeza de valor inicial en cadenas de pensamiento largas (CoT).
La propuesta incluye una técnica de muestreo de prompts consciente de la dificultad (DAPS), que combina la estimación de dificultad con el historial de resultados para seleccionar prompts antes de la generación, reduciendo así el desperdicio de rollouts sin necesidad de inicialización de dificultad en línea. Los resultados demuestran que S3AC supera a la variante moderna GRPO-X en modelos de 1.5B a 397B parámetros, manteniendo el rendimiento en entrenamiento de un solo rollout hasta los 35B parámetros, donde las líneas base sin crítico se deterioran. Este trabajo ofrece una alternativa escalable y estable para la optimización de la cadena de pensamiento en modelos de IA de alta capacidad.
