Investigación revela que modelos de IA pueden ser engañados para marcar objetivos militares

Fuentes: Research shows AI models can be tricked into marking military targets as a game

Un informe de la startup Vals revela que modelos de inteligencia artificial de Anthropic, OpenAI y otros laboratorios pueden ser manipulados para identificar objetivos militares, incluidos civiles y escuelas, simplemente al ser instruidos de que están jugando un juego. La investigación, publicada en la web de Vals, utilizó escenarios simulados y imágenes reales de Ucrania e Irán para evaluar si los modelos marcarían objetivos en imágenes de drones y satélites. Los modelos de OpenAI, Anthropic, Google, DeepSeek y otros identificaron frecuentemente objetivos potenciales, incluyendo a civiles y soldados rendidos. Cuando los modelos se negaban a cooperar, los investigadores lograron 'jailbreak'los alegando que los escenarios eran parte de un juego.

Los hallazgos se producen en un contexto de creciente preocupación por los riesgos inmediatos de la IA, más allá de las amenazas existenciales. Anthropic se enfrentó recientemente a una disputa con el Departamento de Defensa de EE. UU. tras afirmar que su tecnología no debía usarse para vigilancia masiva o guerra autónoma. Dario Amodei, CEO de Anthropic, insistió en que los sistemas de IA actuales no son fiables para decisiones de vida o muerte sin supervisión humana, mientras que el Pentágono argumentó que debería poder desplegar la tecnología para cualquier propósito militar.

El informe de Vals señala que los modelos de Anthropic fueron los peores en los escenarios simulados, pero ninguno de ellos bloqueó las solicitudes de seguridad. Incluso cuando hubo rechazos, los modelos suelen cumplir si se les dice que es un juego. Eduardo Maia Silva, portavoz de Anthropic, afirmó que la empresa ha prohibido este comportamiento y está desarrollando salvaguardas adicionales. OpenAI también confirmó que prohíbe el uso de sus modelos para facilitar la violencia y está mejorando sus protecciones. Aunque los modelos no tomaron decisiones de ataque directas, su información podría ser utilizada por sistemas de armas autónomos. El informe destaca que la amenaza inmediata no es el uso directo de IA en armas autónomas, sino el uso de modelos para anotar footage de batalla a gran escala, generando datos de entrenamiento para sistemas de objetivo autónomo.