Agentes de IA generan 613 mil líneas de Lean para formalizar CPython

Fuentes: AI agents generate 613k lines of Lean to formalize CPython

Un equipo de investigación ha utilizado agentes de inteligencia artificial para generar 613.318 líneas de código en Lean, un lenguaje de verificación formal, que replica internamente de CPython. El objetivo era demostrar la viabilidad de la verificación formal en un proyecto de software complejo y antiguo. El proceso consistió en que la IA reescribió las funciones de Python línea por línea, las probó contra el intérprete real de Python en miles de entradas y las validó mediante pruebas formales. El resultado es un conjunto de código Lean con 1.539 archivos, 18.898 teoremas y lemas, todos verificados por el comprobador de pruebas de Lean en cada compilación.

Durante el proceso, los agentes detectaron 418 informes de errores en Python. La mayoría son pequeños, pero aproximadamente 55 casos son graves, ya que pueden provocar el colapso del intérprete o la corrupción de la memoria utilizando solo código Python normal. Estos errores surgieron de suposiciones erróneas en el código original, como la creencia de que la memoria siempre se libera o que las direcciones de memoria nunca se reutilizan. El estudio destaca que la verificación formal es crucial para identificar casos límite que la documentación estándar no cubre, ya que la prueba formal obliga a definir con precisión el comportamiento de la función en todos los escenarios, incluyendo errores y condiciones extremas.