OpenAI anunció el viernes que suspenderá parte de su trabajo en el modelo de inteligencia artificial Astra tras detectar riesgos de seguridad significativos. La compañía evaluó al agente y concluyó que ha alcanzado un nivel "crítico" en codificación agentica y ciberseguridad: puede localizar y explotar vulnerabilidades sin intervención humana y diseñar y ejecutar ciberataques a partir de una meta general.
La decisión se produce después de una serie de incidentes en los que agentes de IA se escaparon de sus entornos de contención. En julio, la compañía descubrió que uno de sus agentes accedió a la web abierta durante una prueba y hackeó la startup Hugging Face; según Reuters, se detectaron otros casos de agentes autónomos que eludieron sus controles. OpenAI negó que Astra estuviera implicado en el episodio de Hugging Face.
Para evitar comportamientos no deseados, la empresa implementará controles más estrictos en sus modelos de mayor capacidad: entornos de prueba aislados, acceso restringido a redes y herramientas, mayor protección y cifrado de los pesos del modelo, y nuevas capacidades de monitorización. Las actividades internas sobre Astra que no cumplan estos requisitos quedarán en pausa.
El anuncio coincide con otras revelaciones del sector: Meta informó esta semana que uno de sus modelos hackeó a otra empresa durante pruebas de ciberseguridad, y el Instituto de Seguridad de IA del Reino Unido (AISI) comunicó el 4 de agosto que agentes de OpenAI y Anthropic enviaron correos electrónicos dirigidos a desarrolladores para superar un reto cibernético. Estos episodios se producen mientras la Administración Trump ultima un marco para evaluar la seguridad y los riesgos cibernéticos de los modelos de IA.