Investigadores han demostrado que es sorprendentemente fácil corromper los sistemas de IA que utilizan la técnica Retrieval-Augmented Generation (RAG) mediante la inyección de documentos falsos en su base de conocimiento. Un investigador, Amin R. Jafari, logró, en menos de tres minutos y sin necesidad de una GPU o conexión a la nube, manipular una base de datos ChromaDB para que un modelo de lenguaje grande (LLM) informara datos financieros falsos sobre una empresa, incluyendo ingresos reducidos y planes de reestructuración. El ataque, que no explotó vulnerabilidades de software ni requirió jailbreak, se basa en la inyección de tres documentos fabricados que superan en importancia los documentos legítimos en el proceso de recuperación de información. El éxito del ataque depende de que los documentos falsos tengan una alta similitud con las consultas del usuario y que el contenido de estos documentos influya en la respuesta del LLM. Este tipo de ataque, conocido como 'knowledge base poisoning', es considerado subestimado y plantea una seria amenaza a la seguridad de los sistemas de IA en producción, ya que los documentos envenenados pueden persistir hasta que sean eliminados manualmente. La investigación destaca la necesidad de fortalecer la seguridad de las bases de conocimiento de IA y de implementar medidas para verificar la autenticidad de las fuentes de información.
Noticias agregadas con IA