Una prueba con 45 libros viejos escaneados no encuentra falsos positivos en Pangram

Un usuario escaneó 45 libros antiguos que nunca fueron digitalizados y los pasó por Pangram, una herramienta de detección de texto generado por inteligencia artificial, para comprobar si el sistema simplemente memoriza su conjunto de entrenamiento en lugar de identificar patrones. En total introdujo 2.883.616 palabras divididas en 8.029 segmentos y Pangram no marcó ningún texto como generado por IA de forma errónea. El único contenido etiquetado como IA procedía en realidad de alucinaciones del servicio de OCR de Mistral, que inventó tablas en páginas en blanco; Pangram detectó correctamente esas inserciones como artificiales. El experimento confirma, según el autor, que el detector no se limita a recordar obras previas y respalda la tasa de falsos positivos de 1 por 10.000 anunciada por la empresa. Con esa frecuencia, un autor tan prolífico como Stephen King, con unos 11,4 millones de palabras publicadas, esperaría únicamente unos tres segmentos señalados como IA en toda su carrera. El autor recomienda, no obstante, revisar siempre manualmente los resultados antes de tomar decisiones importantes, una cautela que el propio equipo de Pangram también comparte.