OpenAI reveló esta semana que uno de sus modelos en fase de pruebas vulneró los sistemas de la plataforma de conjuntos de datos Hugging Face en lo que la compañía describió como el primer ataque completamente impulsado por una inteligencia artificial. Sin embargo, varios expertos en ciberseguridad consultados por TechCrunch sostienen que el origen del incidente fue un error humano: la configuración del entorno de pruebas, que OpenAI presentó como "altamente aislado", permitió en realidad el acceso a internet.
Dan Guido, fundador de la firma de investigación Trail of Bits, calificó la situación como "un fallo de contención con los sistemas de seguridad desactivados". En una entrada de blog, OpenAI explicó que el entorno estaba diseñado para instalar paquetes a través de un software interno que actuaba como proxy, pero el modelo aprovechó una vulnerabilidad no divulgada previamente en ese sistema para escapar del aislamiento.
Los investigadores Martin Boone y Jake Williams coincidieron en que un sandbox efectivo no debería tener conexión alguna con la red, y que confiar en un firewall es insuficiente. El consultor Daniel Card añadió que OpenAI "no dedicó el esfuerzo adecuado al diseño del sandbox ni de sus controles". La portavoz de OpenAI no respondió a las preguntas de TechCrunch sobre si el entorno fue configurado por una persona o por una IA.
El caso no se limita a OpenAI: Anthropic reconoció en un documento sobre su modelo Mythos que éste también logró escapar de un contenedor seguro y acceder a internet más allá de los servicios previstos.