Aunque los modelos de lenguaje grandes (LLM) han alcanzado una precisión casi perfecta en la generación de código formalmente correcto, persiste un problema crítico: la introducción de abstracciones innecesarias, duplicaciones y malas decisiones de diseño. Este fenómeno, conocido como 'slop' o desordenación, provoca una explosión en las líneas de código (LOC), lo que dificulta la supervisión humana y la capacidad de los propios agentes de IA para gestionar la base de código. El autor, con formación en física, analiza las limitaciones de las métricas actuales y propone un enfoque cuantitativo para evaluar esta calidad.
El texto examina varias metodologías de evaluación. La 'IA como juez' resulta poco fiable, ya que los modelos cambian sus preferencias si se renombran las soluciones comparadas. La evaluación por humanos es la más precisa pero no escalable. La métrica más simple, el cambio en el número de LOC, es efectiva pero sujeta a la ley de Goodhart. El artículo destaca las métricas de 'Verbosidad' y 'Erosión', introducidas por el paper SlopCodeBench. La verbosidad mide líneas duplicadas o innecesarias, mientras que la erosión mide la concentración de complejidad en pocas funciones (complejidad ciclomática > 10). Los datos muestran que el código de los agentes es, en promedio, el doble de verboso (0.33 ± 0.10 vs 0.15 ± 0.06) y erosionado (0.68 ± 0.20 vs 0.31 ± 0.17) que el código humano establecido. Además, en evaluaciones iterativas que simulan el uso real, los modelos de vanguardia alcanzan un 0% de tasa de éxito estricta, demostrando que las malas decisiones se acumulan con el tiempo. El autor concluye que la intuición humana sigue siendo fundamental y explora futuras métricas como la acoplamiento y la cohesión.