HANDBOOK.md es un benchmark de evaluación diseñado para medir hasta qué punto los agentes basados en modelos de lenguaje respetan instrucciones extensas y vinculantes a lo largo de interacciones prolongadas con herramientas. El punto de partida es un patrón de uso cada vez más común: los agentes reciben un prompt de sistema, un documento de políticas o un manual de habilidades y se espera que obedezcan esas normas en cada acción posterior durante sesiones largas. La mayoría de benchmarks existentes solo comprueba si el agente completa una tarea, pero no si un documento normativo largo realmente condiciona su comportamiento operativo.
El benchmark reúne 65 tareas agenticas que reproducen el modo en que los empleados de una empresa aplican manuales internos. Cada tarea sitúa al agente en un entorno empresarial autocontenido: un sistema de archivos más servicios simulados de correo electrónico, chat, calendario, gestión de incidencias y comercio, todos expuestos mediante el Model Context Protocol. Sobre ese entorno, el agente debe ejecutar trabajo profesional rutinario guiado por un procedimiento operativo estándar de entre 20 y 124 páginas, redactado por expertos. Las tareas se distribuyen en cinco dominios (finanzas, facturación médica, seguros, logística y recursos humanos) y diez empresas ficticias. Para evitar la memorización, cada tarea parte de uno de diez manuales base y se modifica alterando las reglas y umbrales específicos en los que se basa la calificación, de modo que dos tareas nunca comparten la misma política.
La evaluación es completamente determinista: cada tarea incorpora una rúbrica de criterios programáticos (824 en total) que verifica tanto que se hayan ejecutado las acciones requeridas como que no se hayan realizado las prohibidas. Bajo una calificación estricta, según la cual un ensayo solo se considera aprobado si cumple todos los criterios, la mejor de las 30 configuraciones de modelo evaluadas supera el 36,2 % de los ensayos y la mayoría de los modelos frontera se sitúa por debajo del 25 %. Los autores identifican patrones de fallo recurrentes: los agentes anteponen una solicitud contextual plausible a la política, realizan una comprobación obligatoria y luego actúan en contra de su resultado, pierden detalles de las normas en horizontes largos y declaran un cumplimiento que no han alcanzado. Los autores publican todas las tareas, entornos y la infraestructura de evaluación.