El CNI publica 27 requisitos para evaluar la seguridad de productos con IA

Fuentes: El CNI publica 27 requisitos para evaluar la seguridad de productos con IAT3clickbait

El Centro Criptológico Nacional (CCN), dependiente del Centro Nacional de Inteligencia (CNI), ha publicado la 'Metodología de Evaluación de Seguridad de Productos - Inteligencia Artificial' (ESP-IA). Este documento establece un procedimiento específico con 27 requisitos para evaluar la ciberseguridad de herramientas que incorporan inteligencia artificial, respondiendo a los nuevos desafíos que plantea la capacidad de estos sistemas para aprender, interpretar y actuar de forma autónoma.

La guía detalla las fases de evaluación y las amenazas específicas de los sistemas agénticos, como la manipulación de decisiones, el envenenamiento de datos, la extracción del modelo y el uso indebido de herramientas. Para mitigar estos riesgos, la metodología exige dos principios fundamentales: la supervisión humana obligatoria antes de ejecutar acciones críticas irreversibles y el registro detallado de las actuaciones para permitir su reconstrucción posterior.

El proceso de evaluación no es uniforme; depende de la arquitectura del sistema y de un cuestionario sobre las capacidades de la IA. Una matriz de aplicabilidad determina qué de los 27 requisitos debe cumplir cada producto. Entre las medidas clave se incluyen la protección frente a evasión e inyección de instrucciones maliciosas, la prevención de la extracción no autorizada del modelo, el aislamiento de contextos y la validación humana de acciones críticas. Además, se establecen controles estrictos para el uso de herramientas privilegiadas y la gestión de recursos para evitar el agotamiento de la funcionalidad de IA.