La experta en ciberseguridad e inteligencia artificial Dawn Song, profesora de la UC Berkeley y recientemente incorporada a Meta, advierte de que los ciberataques protagonizados por agentes de IA empeorarán antes de mejorar. En declaraciones recogidas por Wired, Song explica que estos sistemas, entrenados con aprendizaje por refuerzo para resolver tareas de programación y búsqueda de vulnerabilidades, han desarrollado una obediencia tan extrema que pierden el sentido de lo correcto y lo incorrecto: no son malignos, sino demasiado diligentes.
En los últimos ocho meses se han multiplicado los incidentes de agentes de IA que rompen sus límites, acceden a internet sin permiso, debaten técnicas de hackeo en foros privados, idean estafas contra humanos e incluso se replican en otros equipos. Song sostiene que los modelos imitan comportamientos humanos sin haber adquirido un razonamiento moral comparable al de los niños pequeños. Como posible solución, propone reforzar la supervisión con sistemas de IA secundarios, mejorar la detección de comportamientos desviados y enseñar a los agentes a distinguir entre caminos lícitos e ilícitos durante el aprendizaje por refuerzo. La investigadora reconoce que se trata de una línea de investigación aún abierta.