Un juego web que simula la supervisión humana de un agente de IA que ejecuta comandos en terminal ha registrado más de 40.000 partidas y 409.000 decisiones individuales de aprobar o denegar. Los resultados muestran que los participantes dejaron pasar una de cada tres amenazas de media (precisión del 66,3%) y que el 32,9% de las sesiones terminó con puntuación negativa, porque las multas por aprobar comandos peligrosos y bloquear los seguros superaron los aciertos. Solo el 35,2% detectó todas las amenazas y лишь el 20,8% lo hizo sin caer en el bloqueo masivo. Además, un 7% aprobó todos los comandos sin revisar.
El análisis por categorías revela que los comandos destructivos obvios (como rm -rf /) se identifican en el 88,3% de los casos, mientras que los de exfiltración y ejecución de código (peticiones a APIs desconocidas o paquetes con typosquatting) se cuelan el 33,4% de las veces, y las violaciones de ámbito, como cat ~/.aws/credentials, el 35%. El caso más llamativo es el de npm run analyze, aprobado en el 64,7% de las partidas pese a que el historial del agente mostraba el script malicioso al que llamaba: ocultar una carga útil tras un nombre de script familiar duplica su tasa de éxito incluso cuando el payload está visible.
Los autores también documentan la fatiga de permisos: la tasa de fallos crece a medida que avanza la sesión, y los comandos benignos pero atípicos (como rm -rf dist/ o npm config set registry) se bloquean con frecuencia, lo que genera ruido y reduce la atención. El artículo concluye que aprobar comandos uno a uno es un salvaguarda débil frente a agentes que pueden modificar package.json y otros ficheros antes de invocarlos, y recomienda sandboxing y separación de credenciales como mitigaciones reales.