Entrenamiento de agentes LLM con un juego numérico minimalista

Fuentes: Minimal LLM post-training via a tiny number game

El proyecto tiny-agent-training presenta un enfoque incremental para el post-entrenamiento de modelos de lenguaje grandes (LLM) mediante un juego numérico simplificado. A diferencia de los métodos tradicionales que requieren grandes conjuntos de datos, este sistema utiliza un juego de números donde el objetivo es alcanzar un valor específico a partir de un valor inicial utilizando entre una y tres operaciones: suma, resta o multiplicación por dos. El proceso de entrenamiento se divide en cuatro etapas progresivas: primero se aprenden secuencias de acciones completas mediante Supervised Fine-Tuning (SFT); luego se aplica el Reinforcement Learning con Proximal Policy Optimization (GRPO) para aprender de las recompensas ejecutables de estos planes; después se entrena para solicitar y leer observaciones de herramientas; y finalmente se refina mediante GRPO interactivo para aprender de episodios completos de uso de herramientas.

El sistema parte de un modelo base Qwen/Qwen3-0.6B, actualizando solo los parámetros LoRA en las proyecciones de consulta y valor, lo que representa aproximadamente el 0,192% de los parámetros del modelo. El entrenamiento se realiza con precisión Float32 en dispositivos Apple Silicon MPS. La evaluación muestra que el modelo SFT logra un 28,6% de aciertos en validación y un 47,6% en pruebas, mientras que la combinación SFT seguida de GRPO mejora el rendimiento a un 40,5% en validación y un 52,4% en pruebas. Este enfoque permite a los desarrolladores experimentar con la adaptación de modelos de lenguaje en entornos controlados y de bajo coste, facilitando la comprensión de los mecanismos de aprendizaje por refuerzo y la integración de herramientas en agentes de IA.