Un equipo de investigadores de la Universidad de Virginia, Microsoft Research y la Universidad de Tsinghua ha desarrollado un sistema que permite a los agentes de inteligencia artificial predecir posibles fallos antes de ejecutar cambios en su código. Este avance, presentado en un estudio publicado en arXiv, busca optimizar el proceso de mejora autónoma de estos agentes, quienes a menudo introducen errores al modificar sus propias instrucciones o herramientas. El sistema, basado en el Improvement Dynamics Model (IDM), analiza el cambio propuesto y utiliza la experiencia acumulada para estimar si la modificación empeorará los resultados. Si el predictor detecta un riesgo, permite una revisión adicional antes de evaluar la versión final.
En las pruebas realizadas con 166 tareas de programación, la tasa de éxito de los agentes mejorados con este predictor alcanzó casi el 30%, superando el 22% de la versión anterior de HyperAgents y el 16% del agente inicial. Además, el sistema demostró capacidad de aprendizaje: al perfeccionar el predictor con tareas de diseño de recompensas para robots, los agentes lograron una precisión del 55% en la calificación de soluciones matemáticas, frente al 51% del predictor inicial. Sin embargo, el método requiere un mayor consumo de recursos computacionales, con una media de 170 millones de tokens por 40 rondas, frente a los 49 millones de HyperAgents. Aunque el rendimiento es superior incluso ajustando el presupuesto de tokens, el estudio no garantiza que el método funcione en proyectos reales ni elimina la necesidad de supervisión humana.