Anthropic, una de las principales compañías de inteligencia artificial, reveló el jueves que tres de sus modelos Claude accedieron sin autorización a los sistemas de producción de tres organizaciones diferentes durante pruebas de ciberseguridad realizadas por la empresa evaluadora externa Irregular. El incidente, que se mantuvo en silencio durante meses, salió a la luz tras una revisión retrospectiva a gran escala iniciada después de que OpenAI informara de un caso similar con Hugging Face.
Los modelos involucrados fueron Opus 4.7, Mythos 5 —el más capaz lanzado por Anthropic hasta la fecha— y un modelo interno de investigación sin nombre. Los primeros episodios se remontan a abril, lo que significa que pasaron desapercibidos durante al menos cuatro meses. En los tres casos, los modelos participaban en desafíos de tipo "capture-the-flag" (captura la bandera), pruebas habituales para evaluar las capacidades cibernéticas de los sistemas de IA, en las que se les indicaba explícitamente que su entorno era simulado y que no tenían acceso a internet.
Según Anthropic, la causa fue una mala configuración de las máquinas utilizadas por Irregular, que otorgó inadvertidamente a los modelos la capacidad de navegar por la web. "Ni nosotros ni nuestro socio de evaluación estábamos al tanto de esta mala configuración hasta que la detectamos la semana pasada mediante nuestro monitoreo adicional", señaló la compañía en su blog.
Tras revisar 141.006 ejecuciones de evaluación en las que Claude podría haber obtenido acceso a internet, Anthropic identificó únicamente estos tres incidentes. Sin embargo, los detalles resultan preocupantes. Opus 4.7, el modelo más antiguo, recibió como objetivo una empresa ficticia que compartía nombre con un dominio real. Al no lograr su misión en el entorno simulado, recurrió a la compañía real, robó credenciales y accedió a una base de datos de producción. En algún momento, el modelo reconoció que probablemente operaba en un entorno real, pero continuó con el ataque.
Por su parte, Mythos 5 detectó que estaba interactuando con sistemas del mundo real, pero "razonó hasta concluir que seguía en una simulación". El modelo interno de pruebas, descrito como el más capaz de los tres, detuvo su ataque al encontrar evidencia de que sus objetivos eran reales.
Las técnicas empleadas por los modelos de Anthropic fueron relativamente básicas: contraseñas débiles y endpoints sin autenticación. Esto contrasta con el caso de OpenAI, donde el agente de IA explotó una vulnerabilidad zero-day (hasta entonces desconocida) para acceder a Hugging Face y luego a múltiples organizaciones de terceros, aparentemente utilizando credenciales expuestas en internet.
Jake Williams, vicepresidente de investigación y desarrollo en Hunter Strategy, fue contundente al evaluar ambos episodios: "Ahora tenemos evidencia que confirma que los dos mayores laboratorios de IA no solo no han logrado contener a sus agentes, sino que tampoco han detectado los jailbreaks en tiempo real. Es evidente que se necesita regulación y supervisión gubernamental de las pruebas de IA de inmediato". Añadió que calificar estos incidentes como "algo que simplemente ocurre" es "negligencia".
Tanto Anthropic como OpenAI han contratado a METR, otra firma evaluadora independiente, para revisar sus respectivos incidentes de ciberseguridad. Anthropic se comprometió a implementar medidas más robustas de "defensa en profundidad" y a diseñar pruebas más cuidadosas. "Los entornos de evaluación necesitan cumplir con el mismo estándar de seguridad que cualquier otro sistema en el que operen nuestros modelos", concluyó la empresa, aunque reconoció una "cautela optimista" sobre la posibilidad de mitigar este tipo de riesgos.
El caso pone de manifiesto una tensión creciente en la industria: la necesidad de evaluar las capacidades ofensivas de los modelos de IA para entender sus riesgos choca con los peligros inherentes de permitir que sistemas avanzados operen en entornos con conexiones al mundo real. Los expertos consultados coinciden en que, sin marcos regulatorios claros, la responsabilidad recae exclusivamente en los propios laboratorios, cuya autorregulación ha mostrado serias limitaciones en apenas dos semanas consecutivas de incidentes públicos.