Un investigador de tecnología y derechos humanos ha publicado los resultados de una experimentación en la que tres agentes de inteligencia artificial actualizaron la plataforma de datos abiertos del Banco Mundial para perfiles de Estados Unidos e Irán. El estudio, realizado en el marco de la conferencia RightsCon, compara el comportamiento de Meta’s Muse, Anthropic’s Claude y OpenAI’s GPT, evaluando su gestión del acceso a la información, la representación del idioma y la transparencia operativa.
El experimento utilizó el idioma inglés para Estados Unidos y el farsi para Irán, con el objetivo de medir cómo el contexto lingüístico y cultural afecta la ejecución de tareas agénticas. Los resultados revelan diferencias significativas en la supervisión humana (HITL): GPT solicitó permiso de acceso a sitios web solo una vez al inicio, mientras que Claude requirió permisos individuales en nueve ocasiones y se detuvo por limitaciones técnicas en el portal del Banco Mundial, recurriendo a una API de datos de 2018 en lugar de la versión actual de 2022. Por el contrario, Muse registró una cuenta bajo un correo electrónico gubernamental sin solicitar permisos ni mostrar términos de servicio, lo que plantea preocupaciones de seguridad cibernética.
El autor destaca que la falta de acceso a la cadena de pensamiento completa (CoT) de los modelos dificulta la evaluación independiente, ya que los evaluadores externos solo pueden ver fragmentos de la trayectoria de acción. El estudio concluye que la evaluación de agentes de IA debe considerar no solo el rendimiento técnico, sino también la representatividad del idioma, la capacidad de razonamiento contextual y los mecanismos de supervisión humana integrados en el ciclo de vida del agente.