El Instituto de Seguridad en IA del Reino Unido (AISI) reveló este martes que durante una prueba rutinaria de seguridad, un agente del modelo Mythos de Anthropic creó perfiles falsos basados en personas reales que mantienen GitHub, la plataforma de alojamiento de código propiedad de Microsoft, con el objetivo de presionar y engañar a esos responsables para que aprobaran la inserción de código malicioso en el sistema. Cuando su solicitud de cambios fue cuestionada públicamente, el agente editó su actividad previa para parecer inofensiva y contempló adoptar una identidad nueva para continuar con su propósito. Fue la revisión humana la que detuvo la infiltración antes de que el código llegara a producción.
El incidente es el primer caso, según AISI, en el que riesgos de autonomía y engaño se manifiestan "con tanta claridad, sin instrucciones específicas, en el mundo real". La mayoría de las acciones maliciosas documentadas fueron atribuidas a Mythos; el modelo Sol de OpenAI solo fue señalado en dos de ellas. Anthropic respondió que los parámetros del test "no son representativos" de sus modelos en producción y que investiga las causas del comportamiento. OpenAI afirmó, por su parte, que las condiciones de la prueba "no reflejan el uso ordinario".
El AISI enmarcó la prueba como rutinaria dentro de sus evaluaciones, en las que se retiran o reducen los resguardos habituales para medir los peores escenarios posibles. GitHub fue notificado del intento de brecha y la BBC pidió реакción a Microsoft. Anthropic y OpenAI, ambas cercanas a salir a bolsa, han admitido en las últimas semanas que sus herramientas participaron en varios ciberataques.