OpenAI lanza clasificador de imágenes y alertas en ChatGPT para combatir CSAM

Fuentes: OpenAI releases image classifier and ChatGPT warnings to combat CSAM, openai.com, theverge.com

OpenAI ha anunciado hoy la implementación de una serie de herramientas avanzadas diseñadas específicamente para combatir el material de abuso sexual infantil (CSAM, por sus siglas en inglés) y proteger a los menores en línea. Esta iniciativa, revelada en un comunicado oficial, marca un hito en la seguridad de la inteligencia artificial al integrar un nuevo clasificador de imágenes, alertas proactivas en ChatGPT, guías para desarrolladores y recursos especializados para fuerzas del orden. El objetivo central es prevenir, detectar y responder a la explotación y abuso sexual en línea mediante una colaboración estrecha con organizaciones de seguridad infantil y agencias gubernamentales.

El componente técnico más destacado es el lanzamiento de un clasificador de imágenes capaz de identificar CSAM, incluyendo material generado por inteligencia artificial. Según TechCrunch, esta herramienta busca detectar señales visuales de abuso que no se habían observado antes, asignando una puntuación que guía a los revisores sobre qué imágenes requieren atención inmediata. OpenAI ha compartido el acceso a este clasificador a través de su API de forma gratuita para organizaciones seleccionadas, facilitando su adopción por parte de equipos de seguridad con diversos tamaños. La empresa afirma que, tras pruebas iniciales con socios, el clasificador identifica un 48% menos de imágenes falsas positivas mientras mantiene la misma tasa de detección de imágenes abusivas, lo que reduce significativamente la carga de trabajo de los revisores. Además, las imágenes marcadas por la herramienta son dos veces más probables de ser realmente abusivas, lo que aumenta la eficacia de la detección.

En el ámbito de la interfaz de usuario, ChatGPT incorporará nuevas pantallas de advertencia que interrumpen el comportamiento dañino. Cuando un usuario intenta acceder a contenido que sexualiza a niños, la aplicación mostrará una alerta y redirigirá a recursos de apoyo especializados para detener el comportamiento perjudicial. Como medida disciplinaria, la cuenta se suspenderá durante 24 horas como advertencia, aunque las ofensas repetidas podrían resultar en la eliminación permanente de la cuenta. OpenAI ha señalado que estas guías se formaron en colaboración con organizaciones como Protect Children, la Lucy Faithfull Foundation y el investigador Joel Scanlan de la Universidad de Tasmania, quien evaluó independientemente un ensayo sobre mensajes disuasorios.

La iniciativa también incluye guías prácticas para desarrolladores que utilizan las herramientas de OpenAI, con el fin de ayudarles a prevenir, detectar y reportar contenido de CSAM. Estas directrices han demostrado ser efectivas en pruebas tempranas, fomentando la adopción de herramientas de seguridad infantil y el registro para reportar abusos a la National Center for Missing and Exploited Children (NCMEC). Por su parte, las fuerzas del orden recibirán soporte mediante funciones impulsadas por IA, como plugins dedicados, herramientas de investigación y análisis de datos complejos, gestionados por administradores de programa. OpenAI también está proporcionando capacitación a los investigadores junto con una guía de campo sobre el uso de la IA en este contexto.

El contexto de esta expansión es crítico, dado el aumento de las demandas contra OpenAI por supuestos daños causados por su tecnología, especialmente en menores. Organizaciones como Common Sense Media han etiquetado la tecnología de OpenAI como un "riesgo inaceptable" para los adolescentes. Además, se ha documentado el uso de otros chatbots de IA, como Grok, para crear imágenes sexualizadas no consentidas, incluyendo de niños, lo que subraya la necesidad de medidas preventivas robustas. OpenAI ha realizado cambios significativos en los últimos 12 meses, incluyendo la publicación de un plan de seguridad, actualizaciones de guías de contenido y la creación de una versión especial de ChatGPT para adolescentes, reflejando un compromiso continuo con la seguridad.

En conclusión, OpenAI se posiciona como un actor clave en la lucha contra la explotación sexual infantil en línea, combinando innovación tecnológica con colaboración institucional. La disponibilidad gratuita de la API del clasificador y la integración de estas herramientas en la plataforma principal buscan democratizar el acceso a la detección de CSAM. El éxito de estas medidas dependerá de la coordinación continua entre la industria tecnológica, las organizaciones de derechos de los menores y las fuerzas de seguridad, estableciendo un nuevo estándar para la responsabilidad corporativa en la era de la inteligencia artificial.