El artículo presenta Sauron, un verificador agéntico diseñado para tareas de largo alcance y semi-verificables, que busca resolver las limitaciones de los sistemas basados en rubricas tradicionales. A diferencia de los métodos anteriores, Sauron investiga tanto el estado del entorno como la trazada de ejecución, validando cada afirmación del agente contra su fuente original antes de emitir un veredicto. Esta aproximación 'evidence-first' evita que los jueces acepten informes de éxito no respaldados o que los errores de evaluación refuercen comportamientos indeseados mediante el aprendizaje por refuerzo.
El sistema optimiza el uso de contexto mediante consultas limitadas y una investigación conjunta de criterios relacionados, garantizando que cada veredicto incluya una prueba auditable de su evidencia. En pruebas extensas, Sauron superó a cinco verificadores en todos los ocho esqueletos evaluados, utilizando menos recursos que Gandalf, la línea base más fuerte. En tareas con GPT-5.6 Sol, alcanzó una puntuación F1 de 0,96 frente a los 0,92 de Gandalf, con un 23% menos de coste. Además, detectó el 97% de las inyecciones de fallos en una suite de 13 familias, incluyendo simulaciones de hacking de recompensas, mientras que solo marcó el 2% de los controles limpios. En el benchmark TRAIL, Sauron lideró a Gandalf y al propio juez de TRAIL en todas las métricas de calidad, demostrando su superioridad en la detección y localización de errores reales en agentes de IA.