El escritor estadounidense Freddie de Boer asegura haber demostrado que el detector de inteligencia artificial Pangram es una herramienta poco fiable y fácil de romper. Tras ser acusado de usar IA en un artículo de 2024 sobre Ta-Nehisi Coates, De Boer comprobó que Pangram marcaba ese mismo ensayo completo como «100% humano» con alta confianza, pese a haber etiquetado un fragmento interno de unas 300 palabras como «100% IA». Además, pudo fragmentar ese pasaje detectado como IA en trozos más pequeños que la herramienta volvía a clasificar como humanos, creando una contradicción en cascada.
El columnista también relata que, jugando con el contexto textual, logra que texto humano incrustado en generaciones de IA sea declarado «100% humano» y viceversa, y que él mismo puede producir textos que Pangram señala como generados por IA. En una prueba concreta, pegó un párrafo suyo de 239 palabras publicado en 2017 y le añadió 71 palabras escritas por ChatGPT; el resultado fue etiquetado como «100% IA» con alta confianza, cuando matemáticamente debería corresponder a un 23%.
De Boer concluye que el medidor porcentual de Pangram no funciona como afirma y que, dado que la herramienta ya se está usando con consecuencias reales, conviene abrir un debate serio sobre sus limitaciones.