ReTerm es un marco de entrenamiento diseñado para agentes de terminal que buscan mejorar su capacidad de recuperación ante errores durante ejecuciones prolongadas. A diferencia de los modelos estándar, ReTerm se entrena mediante el aprendizaje de cómo recuperarse de sus propias tareas fallidas, lo que permite a los agentes corregir errores de comandos o implementaciones defectuosas sin intervención humana. El sistema se construye sobre la base de Qwen3.5-9B y utiliza un pipeline de datos personalizado para generar ReTerm-10K, un conjunto de datos de alta calidad que proporciona demostraciones de recuperación efectivas para el inicio de entrenamiento con Supervised Fine-Tuning (SFT).
Para la optimización continua, ReTerm emplea ReTerm-GRPO, un algoritmo de aprendizaje por refuerzo (RL) en línea que bifurca los estados de fallo del agente para generar múltiples intentos de auto-recuperación independientes. El agente aprende de los resultados de estos intentos, mejorándose progresivamente a través de su propia experiencia. En términos de rendimiento, el modelo ReTerm-9B logra un 34,8% de éxito en la prueba Terminal-Bench 2.0, superando a su modelo base en 14,6 puntos. Este avance demuestra que el enfoque de recuperación activa es más efectivo que el entrenamiento estándar GRPO en diversos tipos de errores. El proyecto, que incluye el código, los datos y el modelo, está disponible públicamente para su uso y estudio.
