Estudio empírico: las reglas de los agentes de IA exigen contexto y aplicación por capas

Fuentes: An Empirical Study: AI Agent Rules Need Context and Layered Enforcement

Un estudio reciente analiza 2.116 instrucciones contenidas en 84 ficheros CLAUDE.md y AGENTS.md, repartidos por 64 repositorios populares (mediana de 20.000 estrellas en GitHub). La investigación, titulada ActPlane y disponible en arXiv, parte de una premisa distinta a la habitual en seguridad de IA: en lugar de partir de modelos de amenaza, examina qué reglas ya escriben los desarrolladores en sus ficheros de instrucciones y qué costaría hacerlas cumplir de forma automática.

El hallazgo central es que el 64 % de las afirmaciones son políticas que obligan, prohíben o condicionan acciones del agente, mientras que el 36 % restante es contexto descriptivo. La densidad de políticas varía enormemente entre repositorios, desde el 0 % hasta el 97 %. Dentro de las políticas, solo el 17 % puede evaluarse mediante razonamiento semántico; el 83 % es observable por el sistema y exige inspeccionar contenidos (38 %), un único evento del sistema operativo (29 %) o el estado entre varios eventos (16 %).

La dificultad se agrava con el contexto: apenas el 26 % de las políticas observables son autocontenidas; el 64 % necesita información del proyecto (rutas concretas, comandos de prueba) y otro 9 % depende de la tarea en curso. Las políticas que cruzan varios eventos, como exigir que los tests pasen antes de un commit, son además las que menos detallan los comandos y rutas necesarias, lo que obliga a un motor de cumplimiento a leer e interpretar el repositorio antes de aplicar cualquier regla estática.