Herramienta de Python para evaluar agentes de código en entornos aislados

Fuentes: Python sandboxed coding agent harness for local LLM evaluation

El proyecto agent-harness presenta un marco de trabajo en Python de aproximadamente 375 líneas de código, diseñado para ejecutar agentes de programación en entornos aislados (sandbox) y evaluar su capacidad para corregir errores en modelos de lenguaje locales. La herramienta integra un bucle de herramientas, una jaula de rutas para prevenir escapes de directorio y un proceso de pruebas aislado del sistema operativo, garantizando que el código generado no pueda interactuar con el resto del disco ni la red.

El sistema incluye una 'puerta de parada' (stop gate) que verifica automáticamente si el modelo considera que ha resuelto el problema. Si las pruebas internas fallan, el bucle envía el error al modelo para que lo reescribe, evitando que se acepte una solución incorrecta. Además, incorpora pruebas ocultas que no son visibles para el agente, detectando errores sutiles que las pruebas visibles podrían pasar por alto, como problemas de persistencia de datos en caché.

En los benchmarks realizados con ocho tareas de corrección de errores, el modelo gpt-oss-20b logró resolver 7 de 8 casos al activar la puerta de parada, superando su puntuación inicial de 6/8. El modelo Qwen3-14B, sin capacidad de razonamiento, resolvió solo 4 de 8 casos, mientras que Qwen3-0.6B no utilizó ninguna herramienta. La herramienta soporta modelos compatibles con la API de OpenAI y ofrece un entorno de ejecución controlado para la inferencia local, siendo una referencia técnica para el desarrollo de agentes de software autónomos.