Opera: marco de crítica verbal para agentes de código de largo alcance

Fuentes: Opera: A Verbal Critic Framework for Long-horizon Coding Agents

Opera es un marco de crítica verbal diseñado para agentes de programación de largo alcance, que busca resolver la limitación de los sistemas actuales al no rastrear las acciones del agente tras la entrega de correcciones. A diferencia de los críticos existentes que evalúan trayectorias, Opera trata cada corrección como una nota persistente que se mantiene hasta que el problema diagnosticado se resuelve. El sistema opera como un crítico en el momento de la inferencia, decidiendo cuándo revisar mediante triggers periódicos y por eventos, y utilizando operadores tipados para diagnosticar problemas. Además, Opera audita la retroalimentación contra la evidencia visible antes de entregarla y monitorea las acciones subsiguientes del agente para distinguir el cumplimiento formal de la resolución real.

En pruebas, Opera mejora la tasa de resolución de agentes no críticos hasta en 12,4, 15,0 y 8,9 puntos porcentuales en los benchmarks Terminal-Bench 2.1, SWE-Bench Pro y DeepSWE v1.1, respectivamente, superando a las líneas base competitivas. Además, Opera genera datos de entrenamiento on-policy que permiten mejorar el rendimiento de modelos como Qwen3.5-9B mediante ajuste fino, logrando mejoras del 10,2 puntos porcentuales en repositorios no vistos sin necesidad de un crítico durante la inferencia. El código del proyecto está disponible públicamente en GitHub, posicionando a Opera como una herramienta clave para optimizar la capacidad de resolución de agentes de IA en tareas de programación complejas.