Herramientas para detectar papers de IA sin supervisión humana

Fuentes: Tools to detect AI-generated papers without human oversight

El repositorio absent-author proporciona un conjunto de herramientas y habilidades para agentes de IA que permiten a los revisores y autores identificar investigaciones generadas por IA sin intervención humana. El proyecto, liderado por Ruoyu Zhao y Zhehao Zou, ofrece una lista de evidencia basada en 83 indicadores técnicos que señalan la ausencia de un investigador humano en el proceso de creación, revisión o validación del manuscrito.

La herramienta principal, paper-slop-screen, clasifica las contribuciones en cuatro cuadrantes (B, D, W, R) para distinguir entre errores humanos, desperdicio de IA y contenido de baja calidad. Incluye un escáner de superficie que analiza 28 trazas lingüísticas, como la sobreutilización de guiones largos o el uso de términos inventados, para detectar patrones de escritura asistida por IA. Además, ofrece una habilidad para autores (paper-author-pass) que genera un mapa de evidencia y preguntas de verificación antes de la firma final.

El sistema destaca por su enfoque en la evidencia verificable: cada hallazgo incluye la ubicación exacta en el texto y citas directas, permitiendo a los revisores citar hallazgos concretos en lugar de intuiciones vagas. Los datos de calibración indican que las pruebas de IA superan el 90% de las pruebas humanas en ciertos indicadores, mientras que los papers de IA pesados presentan una tasa de detección del 50%. Esta herramienta busca estandarizar la evaluación de la autenticidad en la revisión de pares, ofreciendo un vocabulario compartido y fuentes verificables para gestionar el creciente volumen de contenido generado por IA en la academia.