OpenAI ha publicado una auditoría detallada del banco de pruebas SWE-Bench Pro y estima que aproximadamente el 30% de sus tareas presentan fallos, lo que compromete la fiabilidad de las mediciones sobre capacidades de programación de los modelos. La investigación revela que los problemas se concentran en cuatro categorías: tests excesivamente estrictos que exigen detalles de implementación no contemplados en el enunciado, prompts incompletos que omiten requisitos verificables en pruebas ocultas, tests con baja cobertura que permiten fijar errores parciales y prompts que inducen a un comportamiento distinto del que validan las pruebas.
Para llegar a estas conclusiones, la compañía combinó un filtro automatizado basado en agentes con Codex con una revisión humana realizada por cinco ingenieros de software por tarea. En el 74% de los casos hubo coincidencia entre las etiquetas del sistema automático y las de los revisores, aunque los humanos tendieron a identificar más problemas múltiples y a señalar más fallos por cobertura insuficiente de los tests.
El estudio pone de relieve las dificultades de crear benchmarks sólidos en programación y la utilidad creciente de los agentes para auditar la calidad de los datos a gran escala. OpenAI anuncia que retira su recomendación anterior de adoptar SWE-Bench Pro y aboga por nuevos benchmarks diseñados desde el inicio por desarrolladores experimentados, con el objetivo de que los resultados reflejen de forma veraz las capacidades de los modelos y fundamenten decisiones de despliegue y seguridad.