Investigadores de la Universidad de Zhejiang, China, han descubierto una vulnerabilidad crítica en modelos de inteligencia artificial de audio que permite hijackear estos sistemas mediante sonidos imperceptibles embedidos en clips de audio. La investigación, que se presentará la próxima semana en el IEEE Symposium on Security and Privacy en San Francisco, revela que un audio modificado indetectable por el oído humano puede manipular el comportamiento de estos modelos con una tasa de éxito del 79 al 96 por ciento. Los investigadores probaron la técnica, denominada AudioHijack, contra 13 modelos de código abierto líderes, incluyendo servicios comerciales de Microsoft y Mistral, logrando que los modelos realizaran búsquedas web sensibles, descargaran archivos de fuentes controladas por atacantes y enviaran correos electrónicos con datos de usuarios. El líder del estudio, Meng Chen, estudiante de doctorado, explicó que solo se necesita media hora para entrenar esta señal y que, al ser independiente del contexto, puede utilizarse para atacar el modelo cuando se desee, sin importar las instrucciones que proporcione el usuario. La técnica explota una falla de seguridad crítica en el diseño de grandes modelos audio-lenguaje: al recibir instrucciones en formato de audio, instrucciones maliciosas pueden ocultarse en clips manipulados para elicitar comportamientos no deseadas. Microsoft respondió que valora el trabajo de los investigadores para avanzar en la comprensión de este tipo de técnicas.
Investigadores chinos descubren falla que permite secuestrar IA de audio con sonidos ocultos
