Unos oficiales de EE. UU. descubrieron que la inteligencia artificial había fabricado datos falsos que impulsaban una operación armada contra un barco chino, un incidente que se resolvió a última hora y evitó un posible conflicto. La inteligencia falsa, que circuló durante la guerra con Irán, afirmaba que el buque transportaba componentes para un programa de armas nucleares. El error originó un analista de Operaciones Especiales que consultó un chatbot de IA para sintetizar datos abiertos con inteligencia de señales clasificada. El sistema identificó erróneamente la carga del barco y el analista formateó los hallazgos erróneos en un resumen oficial que se distribuyó por los canales de mando. Este suceso resalta las crecientes preocupaciones entre militares y expertos sobre los errores de los sistemas de IA, que pueden propagarse rápidamente sin ser cuestionados. Mientras el Pentágono acelera la integración de IA para acelerar la cadena de mando y mantener la ventaja sobre China, la falta de supervisión humana suficiente permite que las alucinaciones se conviertan en decisiones críticas. Jake Steckler, investigador de GovAI y oficial veterano del ejército, advirtió que es crucial que los miembros de las fuerzas armadas comprendan la incertidumbre inherente a los modelos de lenguaje grandes, especialmente en decisiones que pueden llevar al uso de la fuerza. Sin embargo, no se recomienda abandonar estas herramientas, sino añadir salvaguardas adicionales para mantener la confianza y la eficacia operativa.
