Project Arena es una herramienta de código abierto diseñada para crear un entorno de prueba neutral para vendedores que permite evaluar las capacidades de investigación de inteligencia artificial en incidentes de Kubernetes. El sistema despliega un clúster efímero, inyecta fallos controlados y permite a cualquier producto de observabilidad guardar registros de su investigación, los cuales se evalúan mediante un juez de IA configurable. Esta metodología permite comparar objetivamente el rendimiento de diferentes plataformas, como Edge Delta y Grafana, frente a modelos de lenguaje externos como Claude, utilizando un conjunto de datos estandarizado de 21 escenarios de incidentes.
El proyecto se basa en Python 3.10+ y requiere kubectl para operaciones, además de Docker y kind para la creación local del clúster, o Terraform para entornos AWS EKS. La herramienta ofrece dos suites de pruebas: una suite completa de 21 escenarios y una suite de humo de seis escenarios. Los resultados se miden en cuatro métricas clave: detección del incidente, análisis de la causa raíz, identificación del radio de explosión (blast radius) y la capacidad de proponer una mitigación final soportada. Además, se evalúa la 'readiness de implementación', que considera si la propuesta de corrección es técnicamente viable y completa, excluyendo casos donde no se propone ninguna solución.
En las pruebas comparativas, Edge Delta detectó y investigó el 85,7% de los escenarios, mientras que Grafana logró el 57,1%. Los modelos de lenguaje externos, cuando se integraron con las CLI de observabilidad de las plataformas, mostraron una alta capacidad de análisis de causa raíz (85,7% y 90,5% respectivamente), aunque la detección independiente no se midió. El proyecto destaca por su neutralidad, ya que no depende de las características nativas de un solo proveedor, sino de un entorno de ejecución controlado que permite a los desarrolladores validar la eficacia de sus herramientas de IA en la gestión de incidentes de infraestructura.