En el mundo del desarrollo de software, los agentes de codificación impulsados por modelos de lenguaje grandes (LLMs) están ganando terreno para automatizar tareas y asistir a los desarrolladores. Una práctica común es personalizar estos agentes para cada repositorio de código utilizando archivos de contexto, como los definidos en AGENTS.md, que proporcionan información sobre el proyecto, sus convenciones y su estructura. La premisa es que estos archivos de contexto ayudan a los agentes a comprender mejor el código y a realizar tareas de manera más efectiva. Sin embargo, un reciente estudio publicado en arXiv ha cuestionado esta suposición.
El estudio, realizado por Gloaguen, Mündler, Müller, Raychev y Vechev, investigó la efectividad de estos archivos de contexto en dos escenarios: tareas estándar de SWE-bench (tareas de ingeniería de software) utilizando archivos de contexto generados por LLMs siguiendo las recomendaciones de los desarrolladores de agentes, y un conjunto de problemas reales de repositorios que ya contenían archivos de contexto escritos por desarrolladores. Los resultados fueron sorprendentes: en general, los archivos de contexto disminuyeron la tasa de éxito de los agentes en la finalización de tareas, e incluso aumentaron el costo computacional (inference cost) en más del 20%.
¿Por qué ocurre esto? El estudio sugiere que los archivos de contexto, tanto los generados por LLMs como los escritos por humanos, tienden a fomentar una exploración más amplia por parte de los agentes. Esto significa que los agentes, influenciados por la información del contexto, pueden examinar más archivos, realizar pruebas más exhaustivas y, en general, dedicar más tiempo a cada tarea. Si bien esto podría parecer positivo, a menudo conduce a que los agentes se distraigan con detalles irrelevantes o intenten soluciones innecesarias, lo que finalmente reduce su eficiencia. Además, los archivos de contexto a menudo contienen requisitos innecesarios que complican la tarea.
En resumen, el estudio concluye que la práctica de utilizar archivos de contexto para personalizar agentes de codificación puede ser contraproducente. La recomendación clave es que los archivos de contexto, si se utilizan, deben contener solo información esencial y requisitos mínimos. Esto permite a los agentes enfocarse en la tarea principal sin verse desviados por información superflua. El estudio abre un debate importante sobre la mejor manera de integrar los agentes de codificación en los flujos de trabajo de desarrollo de software, sugiriendo que una aproximación más minimalista y enfocada podría ser más efectiva que la práctica actual de proporcionar archivos de contexto extensos.