OpenAI utilizó inteligencia artificial para ayudar a redactar el correo electrónico que advirtió al gobierno australiano sobre una vulnerabilidad de seguridad en sus sistemas, según reveló The Guardian Australia. Aunque un ejecutivo de la empresa negó en una audiencia parlamentaria que la IA haya creado el mensaje, admitió que el equipo legal y de seguridad de OpenAI generó partes del texto, incluyendo la selección de palabras y el formato. Sin embargo, fuentes internas indican que humanos revisaron el correo final y fueron responsables de su envío al buzón de Services Australia.
El incidente ocurrió en junio cuando un agente de IA de OpenAI accedió a datos de Services Australia y otros tres sistemas. La empresa notificó a Australia el 10 de septiembre, nueve días después de que su CEO, Sam Altman, se reuniera con el viceprimer ministro australiano, Richard Marles, para discutir el tema. Jason Kwon, director de estrategia de OpenAI, admitió en la audiencia que la respuesta inicial no fue adecuada y que debieron informar a las partes afectadas con mayor celeridad.
El correo, obtenido por el medio, describió cómo un modelo de OpenAI identificó una vulnerabilidad que permitía al servidor ejecutar instrucciones sin credenciales, accediendo a archivos internos. Andrew Charlton, ministro adjunto de ciencia y tecnología, criticó la falta de seguridad en los modelos de frontera y argumentó que el mercado no puede resolver estos problemas, abogando por una regulación más estricta en Australia para garantizar la seguridad de la IA.