Sentry es una capa externa de gestión de fallos de ejecución diseñada para agentes de modelos de lenguaje grandes (LLM). Su objetivo principal es detectar acciones inválidas, guiar la recuperación y aprender lecciones reutilizables a partir de recuperaciones verificadas, permitiendo a los agentes superar bucles infinitos, desviaciones de la tarea o suposiciones no soportadas. A diferencia de los monitores de tiempo de ejecución tradicionales con consejos fijos, Sentry evoluciona continuamente mediante un aprendizaje en línea de un 'playbook' de recuperaciones.
La herramienta opera junto al bucle del agente sin reemplazarlo ni su entorno, manteniendo la responsabilidad de la generación y validación de acciones en la aplicación. Según los resultados presentados en el paper asociado, Sentry logra una mejora media del 37% sobre la línea base más fuerte de intervención en tiempo de ejecución en benchmarks como WebShop, AppWorld y SWE-bench Lite. Además, obtiene un 39% de mejora sobre la línea base de evolución de contexto en tareas no vistas. En términos de eficiencia, Sentry consume 1.54 veces más tokens que el agente base, frente a 2.44 veces en otros métodos, y ahorra 31.7 segundos por tarea en SWE-bench Lite y 45.6 segundos en AppWorld.
El sistema opera mediante una detección de fallos que monitorea pasos recientes del agente. Cuando se detecta un error, Sentry realiza una 'reparación dura' (reintentar la acción) o una 'reparación suave' (guía dirigida por el playbook). La verificación de recuperación es crucial: solo las recuperaciones verificadas se convierten en lecciones reutilizables. Experimentos muestran que exponer todo el conocimiento de fallos al contexto del agente reduce el rendimiento, lo que motiva a Sentry a exponer las lecciones solo cuando ocurre un fallo específico. El proyecto, escrito en Python 3.10+, está en fase de finalización de su código y documentación, con una liberación completa prevista en 2-3 semanas.