StoryScope: un sistema para distinguir la ficción humana de la generada por IA más allá del estilo

Fuentes: StoryScope: Investigating idiosyncrasies in AI fiction

Investigadores han presentado StoryScope, una herramienta diseñada para diferenciar relatos escritos por personas de los producidos por modelos de lenguaje de gran tamaño, analizando la estructura narrativa y no solo el estilo de escritura. El sistema induce de forma automática un espacio de características interpretable con 304 indicadores distribuidos en 10 dimensiones, como la agencia de los personajes o la discontinuidad cronológica. Para entrenarlo y evaluarlo, el equipo construyó un corpus paralelo con 10.272 prompts, cada uno respondido por un autor humano y por cinco modelos de IA, lo que arrojó 61.608 relatos de unas 5.000 palabras cada uno. Los resultados muestran que las características narrativas por sí solas alcanzan un 93,2 % de macro-F1 al distinguir entre autores humanos y de IA, y un 68,4 % de macro-F1 al identificar cuál de los seis sistemas produjo un texto, conservando más del 97 % del rendimiento de los modelos que también incorporan señales estilísticas. Además, un conjunto compacto de 30 características captura la mayor parte de esta señal. El análisis revela que los relatos generados por IA tienden a sobre-explicar sus temas y a presentar tramas más lineales, mientras que los escritos por humanos suelen plantear las decisiones del protagonista con mayor ambigüedad moral y muestran una mayor complejidad temporal. El estudio también identifica huellas narrativas propias de cada modelo: Claude produce una escalada de eventos especialmente plana, GPT abusa de las secuencias oníricas y Gemini recurre por defecto a descripciones físicas externas de los personajes. En conjunto, los autores concluyen que la ficción de IA se agrupa en una región compartida del espacio narrativo, mientras que la humana presenta mayor diversidad, lo que sugiere que la autoría se puede rastrear en la construcción del relato y no solo en el estilo.