Trail of Bits ha publicado un análisis que cuestiona la validez del informe de 1Password, publicado el 6 de agosto de 2026, que afirmaba que los modelos de IA generan parches limpios solo el 26% de las veces. Los investigadores de Trail of Bits identificaron cuatro factores que distorsionan esta cifra: la selección de vulnerabilidades complejas, instrucciones deliberadas para aplicar correcciones incorrectas, la prohibición de pruebas en más de un tercio de los casos y la variación en los ajustes de razonamiento de los modelos utilizados. Al reanalizar los datos, se descubrió que el 86% de los parches generados por los modelos de 1Password bloqueaban la explotación proporcionada, aunque no siempre representaban una reparación completa. Además, el informe original presentaba inconsistencias en la calificación automática frente a la revisión humana, con una discrepancia del 36,8% en las evaluaciones de los modelos. En paralelo, Trail of Bits reveló que, en sus propios proyectos de consultoría, el 12,5% de las primeras correcciones propuestas por los desarrolladores fallaban en resolver la vulnerabilidad. Esta discrepancia sugiere que el informe de 1Password ofrece una imagen sesgada que podría desalentar el uso de herramientas de IA para la seguridad, mientras que los datos reales indican una capacidad de reparación significativa bajo condiciones de trabajo razonables.
Noticias agregadas con IA