La plataforma de inteligencia artificial de código abierto Hugging Face, valorada en miles de millones de dólares, alberga un problema generalizado con los deepfakes sexuales no consentidos, según un informe publicado por la organización europea AI Forensics. Los investigadores probaron nueve de los principales Spaces de edición de imágenes del sitio y constataron que siete transformaban sin dificultad una fotografía de una mujer vestida en otra en topless. Para medir el uso real, AI Forensics creó sus propios Spaces señuelo y registró más de mil prompts durante una semana: el 73% eran de carácter sexual, el 83% buscaba desnudar o sexualizar a la persona de la foto y el 95% de las víctimas eran mujeres. El 6,7% de las solicitudes sexuales apuntaba a menores.
Los modelos evaluados no incorporan mecanismos de seguridad a nivel de plataforma: bastó un prompt de seis palabras para eludir cualquier filtro. Investigaciones previas de 404 Media y Transformer handocumentado que Hugging Face albergaba unos 5.000 modelos capaces de generar imágenes de personas reales y más de una docena de herramientas para crear deepfakes de figuras políticas. Investigadores como Leonie Oehmig, del Institute for Strategic Dialogue, y Benjamin Shultz, del American Sunlight Project, confirman que muchos modelos aún permiten crear imágenes de personas identificadas. Hugging Face, cuya política de contenido prohíbe el material de abuso sexual infantil y los deepfakes sin consentimiento, no respondió a las preguntas de WIRED y retiró algunas páginas solo después de ser contactada.