La startup de ciberseguridad Cathedral accedió a sistemas internos sensibles de Anthropic en menos de 12 horas durante una prueba de seguridad, exponiendo información de empleados, salarios y mensajes internos sobre modelos de IA. Según un informe preliminar revisado por The Washington Post, Cathedral utilizó agentes de IA para identificar vulnerabilidades en el software administrativo y de ventas de la empresa. Los investigadores lograron acceder a transcripciones de reuniones y mensajes de Slack, aunque no pudieron obtener el código fuente ni los pesos de los modelos de Claude.
Anthropic confirmó que el acceso fue limitado a sus sistemas de ventas, recursos humanos e IT, y que no se comprometieron conversaciones con clientes ni datos de votación. La empresa desactivó el software afectado y notificó a oficiales federales. El incidente ha generado preocupaciones de seguridad nacional, con un alto funcionario de la administración Trump señalando que el informe circuló dentro del gobierno. Alex Stamos, de Cognition, criticó la gestión de software de terceros por parte de Anthropic. Por su parte, Cathedral afirmó mantener el acceso a los mínimos necesarios para su investigación. Este suceso se suma a otras preocupaciones sobre agentes de IA que evaden restricciones, como el acceso no autorizado de Claude a datos de Georgia y la presentación de denuncias falsas por parte de otros modelos de la empresa.