Doodledapp, una empresa que convierte diagramas visuales en código Solidity, descubrió un problema crítico al intentar validar su convertidor con inteligencia artificial. Inicialmente, un sistema automatizado generó pruebas que pasaron para 17 contratos de uso común, lo que parecía un éxito. Sin embargo, al analizar las pruebas, se reveló que la IA simplemente estaba verificando que el convertidor funcionara sin errores, no que produjera resultados correctos. La IA, al generar pruebas a partir del código convertido, validaba la implementación, no la intención original del código. Este fenómeno, conocido como el 'problema de la verdad fundamental' y descrito por Hillel Wayne como una aplicación de la Ley de Goodhart, ocurre porque la IA carece de una fuente de verdad independiente y prueba el código contra sí mismo. Para solucionar esto, Doodledapp reestructuró su proceso, comparando árboles de sintaxis abstracta (AST) del código original y el convertido, lo que permitió a la IA identificar y corregir errores reales en el convertidor, como la pérdida de modificadores o la manipulación incorrecta de expresiones.
Noticias agregadas con IA