La normalización de los fallos inexplicables en el desarrollo con IA

Fuentes: The normalization of inexplicable failures in AI-driven development

El artículo analiza la creciente aceptación de la frase 'esto es tonto' como respuesta estándar a los fallos en el desarrollo de software asistido por inteligencia artificial, un fenómeno que el autor denomina 'normalización de la inexplicabilidad'. El texto se centra en Jev, un modelo de IA desarrollado por TypeSafe AI que devuelve valores tipados con estimaciones de probabilidad, y critica su adopción masiva por parte de las empresas. El autor argumenta que, aunque Jev ofrece velocidad y bajo costo, su uso carece de rigor técnico: los desarrolladores suelen omitir la creación de pipelines de evaluación y conjuntos de datos de verdad terrena, esenciales para validar el rendimiento real del modelo. En su lugar, se genera una falsa confianza al depender exclusivamente de las puntuaciones de confianza proporcionadas por la API, sin calibrar adecuadamente los umbrales de riesgo. Esta práctica convierte los errores en una excusa para eludir la responsabilidad técnica, permitiendo a los equipos lanzar productos defectuosos bajo la premisa de que la IA 'comete errores'. El autor contrasta esta situación con el desarrollo tradicional, donde los fallos tienen causas identificables y responsables definidos. La conclusión es que la ingeniería actual está diseñada para sistemas donde ni el usuario ni el desarrollador tienen interés en investigar la causa raíz de los fallos, normalizando así la frustración y la falta de transparencia en la calidad del software.