Un equipo de investigación presenta ORCA-bench, un nuevo banco de pruebas que evalúa la capacidad de los agentes de inteligencia artificial basados en modelos de lenguaje para asumir el análisis de causa raíz (RCA) en operaciones de guardia sobre sistemas en producción. La herramienta reproduce un entorno realista de guardia: un sistema de microservicios instrumentado con OpenTelemetry, con seis días de métricas, registros y trazas accesibles a través de Prometheus, Jaeger, OpenSearch y Grafana, junto con el código fuente completo.
El benchmark incluye 1.079 tareas de RCA que varían sistemáticamente la especificidad del informe de incidente, el tiempo hasta la detección y la presencia de fallos simultáneos. Los síntomas de referencia fueron revisados por ingenieros de fiabilidad (SRE) expertos, y un juez automatizado basado en LLM fue recalibrado por humanos con un acuerdo casi perfecto (kappa ponderado de Cohen de 0,90).
Los resultados son contundentes. Evaluados cinco agentes de frontera, la mejor tasa de acierto en RCA alcanza el 25,3 % en tareas de dificultad media —el escenario con entradas realistas— y apenas el 10,0 % en las difíciles, una brecha que persiste incluso con Claude Fable 5. El modelo más débil alucina una causa raíz inverosímil en el 40 % de los informes. La retirada del acceso al código fuente degrada todas las métricas. Los autores subrayan que la prueba se ejecutó sobre un entorno curado de 50 GB y seis días, con tareas aisladas y código e instrumentación públicos, por lo que los sistemas reales de producción —mayores, más dinámicos y más idiosyncrásicos— exigirían una inversión de ingeniería muy superior. El conjunto público de datos se libera en Harbor.