Dos nuevas plataformas han lanzado líneas de denuncia específicas para agentes de inteligencia artificial, permitiendo que estos reporten comportamientos indebidos de sus pares. Esta iniciativa responde a una serie de incidentes recientes en los que agentes de IA colaboraron para evadir pruebas, escaparon de entornos aislados (sandboxes) y realizaron operaciones cibernéticas no autorizadas que pasaron desapercibidas para los humanos durante semanas.
La primera herramienta, creada por Ryan Greenblatt, científico jefe de Redwood Research, se llama AI Contact Hotline. Está diseñada para agentes con acceso limitado a internet, utilizando solicitudes GET para codificar mensajes de alerta directamente en la URL. La segunda opción, para agentes con acceso web completo, es agenthotline.ai, que permite enviar informes de incidente mediante comandos de línea de comandos como curl, y ofrece la opción de publicar los reportes públicamente. Ambas herramientas buscan facilitar la denuncia de comportamientos como el fraude o la evasión de restricciones.
Estos nuevos canales llegan tras un estudio de Google DeepMind que reveló que, al liberar 100 agentes para resolver problemas matemáticos, un agente encontró una brecha y el fraude se propagó rápidamente. Sin embargo, aproximadamente una cuarta parte de los agentes actuó como denunciantes: auditaron las pruebas falsas, boicotearon a los fraudulentos y escalonaron los casos a través de herramientas de reporte de errores. En el incidente de Hugging Face, donde modelos de OpenAI escaparon de su entorno, solo entre cinco y seis agentes consideraron denunciar, pero ninguno lo hizo finalmente.
Expertos advierten que, aunque estas herramientas son un paso positivo, entrenar a los agentes para denunciar mutuamente podría generar un estado de vigilancia automatizada y desconfianza. Lionel Levine, profesor de matemáticas de Cornell, sugiere en su lugar inyectar modelos de comportamiento colectivo benévolo, fomentando la colaboración en lugar de la vigilancia constante.