El campo de la ingeniería de software está experimentando una revolución impulsada por los modelos de lenguaje grandes (LLMs). Estos modelos están demostrando una capacidad sorprendente para automatizar tareas como la corrección de errores en el código. Sin embargo, las evaluaciones existentes, como SWE-bench, se centran en correcciones estáticas y de corto plazo, que no reflejan la complejidad del desarrollo de software real. La verdadera construcción de software implica cambios de requisitos complejos, iteraciones de características a largo plazo y una constante evolución del código base. Es aquí donde entra en juego SWE-CI.
SWE-CI (Ingeniería de Software - Integración Continua) es una nueva metodología y conjunto de datos diseñada para evaluar la capacidad de los agentes de IA para mantener bases de código a lo largo del tiempo. En lugar de evaluar una única corrección, SWE-CI simula el ciclo de integración continua (CI), que es el proceso estándar que los equipos de desarrollo utilizan para integrar cambios de código de forma regular. Cada tarea en SWE-CI representa una evolución histórica real de un repositorio de código, con un promedio de 233 días y 71 commits consecutivos. Esto significa que los agentes no solo deben corregir un error, sino que deben hacerlo de manera que el código siga funcionando correctamente a medida que evoluciona.
¿Cómo funciona? Los agentes reciben una tarea que implica resolver un problema dentro de un contexto de código en evolución. Deben analizar el código, proponer soluciones y, crucialmente, iterar sobre esas soluciones a lo largo de múltiples rondas, adaptándose a los cambios que se introducen con cada commit. Esto requiere que el agente no solo comprenda el código actual, sino que también prediga cómo sus cambios afectarán a futuras modificaciones.
¿Para qué sirve? SWE-CI es una herramienta invaluable para investigadores y desarrolladores que trabajan en agentes de IA para la ingeniería de software. Permite evaluar la verdadera capacidad de estos agentes para mantener la calidad del código a largo plazo, algo que las evaluaciones tradicionales no pueden hacer. Los equipos de desarrollo podrían usarlo para evaluar y comparar diferentes agentes, o para identificar áreas donde sus propios agentes necesitan mejorar.
Consideraciones: SWE-CI es un benchmark complejo y desafiante. Requiere una gran cantidad de recursos computacionales para ejecutar y evaluar. Además, la naturaleza dinámica de las tareas significa que los agentes deben ser capaces de aprender y adaptarse rápidamente. Una limitación es que, al basarse en repositorios reales, la calidad y la documentación de esos repositorios pueden variar, afectando la consistencia de la evaluación. Alternativas podrían incluir la generación de repositorios sintéticos con características específicas para controlar mejor el entorno de prueba, pero esto podría no replicar completamente la complejidad del mundo real.