Agent Mosaic: Detección de fugas de confidencialidad en agentes LLM

Fuentes: Agent Mosaic: Detecting Confidentiality Leaks in Agentic LLM Systems

El estudio 'Agent Mosaic' analiza el riesgo de fugas de información sensible en sistemas de agentes de modelos de lenguaje de gran escala (LLM). Los autores identifican un fenómeno denominado 'efecto mosaico', donde los agentes recopilan datos de múltiples documentos accesibles para generar conclusiones confidenciales que no deberían ser reveladas. Para cuantificar este riesgo, el equipo evaluó 30 ejemplos sintéticos de ciberseguridad, medicina y asuntos militares, generando 10.800 respuestas finales mediante tres agentes LLM en simulaciones controladas y 1.440 respuestas en entornos de prueba en vivo.

Los resultados muestran que incluso el modelo más performante, GPT-5.6-Sol, revela composiciones prohibidas en el 7,08% de las respuestas en simulaciones, con tasas aún más altas en entornos en vivo. Aunque la adición de cabeceras de clasificación visibles y reglas de agregación explícitas reduce significativamente las tasas de divulgación, las fugas inseguras persisten en el 32,37% de las respuestas simuladas, independientemente de las intenciones. Además, el estudio concluye que un aumento en las rechazos no garantiza la confidencialidad, ya que los rechazos significativos pueden revelar la conclusión prohibida. Estos hallazgos indican que las fugas de datos sensibles mediante eventos de estilo mosaico son un modo de fallo de confidencialidad observado en las configuraciones evaluadas a tasas no despreciables, motivando la necesidad de controles más estrictos sobre lo que los agentes pueden inferir y divulgar en entornos con datos sensibles.