Surge AI ha presentado sudo L7, un nuevo benchmark diseñado para evaluar la capacidad de los agentes de IA no solo para escribir código funcional, sino para ejercer el juicio profesional y técnico propio de un ingeniero de software senior. A diferencia de las pruebas tradicionales que se centran en la corrección técnica del código, sudo L7 mide la capacidad del agente para identificar riesgos, anticipar consecuencias y tomar decisiones arquitectónicas complejas en entornos de producción reales.
La herramienta consta de 60 tareas basadas en repositorios privados de empresas reales y proyectos de código abierto, que abarcan áreas como seguridad, fiabilidad y arquitectura. Los agentes deben explorar el sistema, decidir qué construir y verificar casos de riesgo, ya que a menudo la mera ejecución de pruebas no garantiza la calidad profesional del trabajo. Por ejemplo, un agente podría implementar una migración de base de datos que funcione técnicamente pero que no permita revertir cambios si falla, o podría añadir una función redundante sin detectar que ya existía en el sistema.
Los resultados iniciales muestran que los modelos de frontera, como Claude Opus 5.5 y Sonnet 5.5, superan el 45% de las asignaciones, mientras que GPT-6 Astra alcanza aproximadamente el 32%. El benchmark utiliza rúbricas expertas en ocho dimensiones para evaluar la corrección funcional, el juicio práctico y la comunicación, destacando que la capacidad de cuestionar las solicitudes y gestionar el riesgo técnico es tan importante como la habilidad de programación.
