El artículo de Armin Ronacher, autor de Pi, reflexiona sobre el uso de Pi para desarrollar Pi, una práctica que ha revelado desafíos inesperados en el manejo de informes de errores y solicitudes de cambio (pull requests) en proyectos de código abierto. La integración de modelos de lenguaje grandes (LLMs) como asistentes en el proceso de desarrollo, aunque prometedora, ha introducido una nueva forma de 'ruido' en el rastreador de problemas (issue tracker).
El problema principal radica en que los usuarios, a menudo asistidos por LLMs, generan informes de errores que contienen diagnósticos incorrectos, soluciones propuestas erróneas y una sobrecarga de información irrelevante. Estos informes, a pesar de su apariencia de confianza, pueden desviar a los desarrolladores por caminos equivocados, ya que Pi, al igual que los humanos, tiende a confiar en la información presentada en el informe, incluso si es incorrecta. Para mitigar esto, se ha implementado un comando personalizado (/is) que instruye a Pi para que no confíe en el análisis inicial del informe y verifique el comportamiento del código de forma independiente.
Sin embargo, la tendencia a la sobreingeniería de los informes persiste, con LLMs que proponen soluciones complejas y a menudo innecesarias para problemas que podrían resolverse de manera más simple, como prevenir el estado incorrecto en lugar de intentar manejarlo. El artículo destaca la importancia de mantener la integridad de los datos, especialmente en los registros de sesión de Pi, y la necesidad de evitar la introducción de complejidad innecesaria.
El volumen de informes y solicitudes de cambio es otro desafío, con una gran proporción proveniente de usuarios no aprobados y, a menudo, de baja calidad. Esto ha llevado a Pi a automatizar el cierre de estos informes, lo que refleja la dificultad de gestionar el flujo de trabajo en un entorno de desarrollo impulsado por LLMs. En resumen, el artículo plantea una reflexión sobre el futuro de la ingeniería de software automatizada y la necesidad de mejorar la calidad de los informes generados por LLMs para evitar la proliferación de complejidad innecesaria y mantener la eficiencia del desarrollo.