Meta difundió anuncios de una aplicación que prometía 'desnudar' a políticas con IA
Meta Platforms permitió recientemente la circulación de anuncios en sus plataformas que promocionaban una herramienta de inteligencia artificial capaz de generar vídeos pornográficos deepfake de mujeres, incluidas imágenes que aparentemente representaban a políticas estadounidenses de alto perfil. Los anuncios, que violan las propias políticas de la compañía contra el contenido sexual, fueron retirados solo después de que WIRED consultara a la empresa sobre su existencia.
La aplicación en cuestión, llamada Kromix, se promocionaba a sí misma como un 'estilizador de imágenes con IA'. Los vídeos publicitarios, vistos por WIRED, incluían una voz en off que aseguraba que la herramienta operaba 'sin restricciones', que 'todos los personajes son personas reales' y la describía como 'la IA que realmente usan los hombres'. En uno de los anuncios, una mujer con un gran parecido a una prominente política estadounidense aparece frente a una bandera de Estados Unidos con el texto '¿Qué pasaría si se moviese?', para luego cortar a una escena pornográfica con el mismo rostro.
Según el archivo de anuncios de Meta, la campaña estaba dirigida exclusivamente a usuarios masculinos bajo el eslogan 'Desata la magia de la IA de próxima generación'. La cuenta vinculada había publicado 32 anuncios que estuvieron activos entre cinco y 46 horas, la mayoría de los cuales recibieron diez impresiones o menos. La página fue creada el 3 de agosto, apenas unos días antes del inicio de la campaña, y carecía de seguidores, dos señales que un sistema de revisión eficaz debería haber detectado como sospechosas.
Katie Paul, directora del Tech Transparency Project, organización que descubrió los anuncios, afirmó que 'todos los anuncios que hemos visto hasta ahora sobre el tema de la desnudez con IA sexualizan y desnudan exclusivamente a mujeres, convirtiéndolas en pornografía generada por IA'. Paul advirtió que este caso 'plantea muchas preguntas sobre cómo Meta va a manejar este tipo de contenido, no solo en general, sino cuando se trata de políticas mujeres, cuando la empresa está difundiendo activamente anuncios con este contenido en su plataforma'.
El caso se inscribe en un patrón más amplio. Políticos y funcionarios electos, abrumadoramente mujeres, han sido blanco de imágenes y vídeos deepfake no consensuados durante años. Solo en enero, cuando la herramienta Grok fue utilizada para crear alrededor de 3 millones de imágenes sexualizadas de mujeres y niñas, funcionarias de Suecia, Inglaterra e Irlanda del Norte fueron atacadas usando esta tecnología, frecuentemente a partir de retratos oficiales. Benjamin Shultz, investigador principal del American Sunlight Project, explicó que 'a medida que la producción y distribución de contenido generado por IA se han democratizado, medios antes benignos, como retratos oficiales o vídeos de conferencias de prensa, se han convertido en materia prima para herramientas de bajo o nulo código que cualquier persona con conexión a internet puede usar'.
La documentación pública de Meta establece que cada anuncio es 'revisado' antes de su publicación contra políticas que prohíben contenido sexual explícito, incluyendo desnudez, actividad sexual o contenido sugerente. Las políticas más amplias de la compañía sobre explotación sexual adulta también prohíben la imagery íntima no consensuada y la promoción de aplicaciones de 'desnudado' o 'besos con IA'. Sin embargo, Meta ha luchado persistentemente contra este tipo de infracciones. La propia compañía reconoce haber eliminado 344.000 anuncios de este tipo en Facebook e Instagram entre noviembre y enero pasados, y haber presentado al menos una demanda contra una empresa promotora de estos servicios.
Cindy Southworth, responsable de seguridad de la mujer en Meta, reconoció la gravedad del problema: 'La explotación sexual, incluida la promoción de aplicaciones de desnudado, es horrenda, y trabajamos agresivamente para combatirla'. Southworth explicó que se trata de 'un espacio altamente adversarial donde los actores maliciosos evolucionan constantemente sus tácticas', lo que justifica el desarrollo continuo de nuevas defensas. Según explicó, Meta comparte información sobre las aplicaciones y desarrolladores eliminados con otras empresas tecnológicas. La mayoría de los anuncios de vídeo utilizaban imágenes de portada aparentemente inofensivas, como playas, montañas o cascadas, para ocultar el contenido pornográfico del resto del material. Southworth admitió que 'ningún sistema es perfecto' y que la compañía continúa investigando 'por qué estos anuncios pudieron burlar nuestros sistemas y cómo podemos mejorar'.
Por su parte, Apple también enfrentó críticas por la presencia de Kromix en su App Store. Un portavoz de la compañía confirmó a WIRED que la aplicación fue eliminada, ya que aparentemente añadió contenido y características prohibidas después de la revisión inicial. 'Siempre hemos prohibido estrictamente las aplicaciones diseñadas para generar, distribuir o consumir pornografía', declaró el portavoz, añadiendo que las aplicaciones de 'desnudado' contravienen sus directrices de revisión y que la empresa trabaja agresivamente para eliminarlas. Cabe recordar que la fiscalidad de San Francisco envió a Apple una carta de cese y desistido a principios de este verano exigiendo la eliminación de 13 aplicaciones específicas y que dejara de 'ayudar y fomentar' la venta de imágenes deepfake explícitas.
Este episodio ilustra la continua dificultad de las grandes plataformas tecnológicas para controlar el ecosistema de herramientas de IA que facilitan la creación de contenido sexual no consensuado. A pesar de las políticas explícitas, los sistemas automatizados de revisión y las acciones legales emprendidas por Meta, los anuncios para este tipo de aplicaciones siguen encontrando formas de evadir los filtros, con el agravante de que ahora utilizan rostros de figuras políticas como gancho para captar usuarios.
Meta difundió anuncios de una app que prometía 'desnudar' a políticas con IA