SlopBench es un benchmark de código diseñado para cuantificar la cantidad de líneas de código innecesarias que generan los agentes de inteligencia artificial al resolver tareas, un métrica que la mayoría de las herramientas actuales no publican. A diferencia de las métricas tradicionales que solo miden si un modelo resuelve la tarea (pass@k), SlopBench introduce la métrica de 'inflation', que calcula la relación entre las líneas de código generadas por el modelo y las de una solución de referencia mínima. Por ejemplo, si un modelo resuelve una tarea de 12 líneas escribiendo 96, su inflación sería de 8.0 veces, lo que indica un alto desperdicio de recursos y una mayor carga de revisión para los ingenieros.
El sistema opera mediante un entorno aislado (sandbox) que ejecuta las pruebas en contenedores Docker con restricciones estrictas de red, memoria y permisos, garantizando que el código generado no interactúe con el sistema anfitrión. Cada tarea se evalúa dos veces: una versión estándar y otra minimalista, permitiendo medir cuánto reduce un prompt de minimalismo la cantidad de código. El proyecto incluye cinco especificaciones de Python airtight, soluciones de referencia contestables mediante Pull Requests y un leaderboard estático generado semanalmente por GitHub Actions. SlopBench no es una métrica de calidad del código, sino una herramienta para identificar la ineficiencia en la generación de código, con datos públicos y código abierto bajo licencia MIT.