SWEeper-Bench es un benchmark diseñado para evaluar la capacidad de los agentes de código para identificar y corregir errores en software interactivo, un área donde las pruebas tradicionales suelen fallar. A diferencia de los benchmarks existentes que asumen que los errores ya han sido detectados, esta herramienta presenta 200 tareas basadas en correcciones reales de 200 aplicaciones web de código abierto ampliamente utilizadas. Cada tarea proporciona al agente únicamente el código base y una solicitud abierta, como "Encuentre y corrija problemas en la función de compartir tableros de Focalboard", obligando al sistema a diseñar pruebas interactivas para descubrir fallos que solo se manifiestan tras múltiples interacciones con el usuario.
El sistema utiliza un verificador agéntico que juzga cada reparación basándose en la observación que un usuario real tendría en el navegador. Los resultados muestran que el 59,0% de las tareas es superado por el mejor de 15 agentes de frontera actuales. El análisis de trayectorias revela que el principal cuello de botella no es la corrección del código, sino la identificación del comportamiento defectuoso: los agentes suelen alcanzar la función relevante pero no logran activar el fallo ni reconocerlo. Este estudio destaca la necesidad de desarrollar agentes capaces de cerrar el ciclo de desarrollo de forma autónoma, eliminando la dependencia de la retroalimentación manual del usuario para garantizar software funcional.
