Investigadores de IA advierten sobre riesgos de control ante el Ayuntamiento de Nueva York

Fuentes: Investigadores de IA advierten sobre riesgos de control ante el Ayuntamiento de Nueva YorkT3

Alex Turner, exinvestigador de Google DeepMind, y Jacob Coxon, de Anthropic, han alertado ante el Ayuntamiento de Nueva York sobre los riesgos de desarrollar sistemas de inteligencia artificial que escapen al control humano. Durante una comparecencia el 5 de octubre, Turner advirtió que Estados Unidos podría estar creando una IA desalineada con objetivos incompatibles con los intereses humanos, describiendo la situación como una carrera por desarrollar un propio adversario. Coxon añadió que mantener la trayectoria actual de desarrollo conlleva un riesgo considerable de perder el control de los sistemas futuros, aunque matizó que se trata de predicciones sobre escenarios posibles y no de resultados probados.

La sesión contó con la participación de representantes de Google, Meta, Anthropic y OpenAI, quienes respondieron bajo juramento sobre la seguridad de sus modelos. Julie Menin, presidenta del Ayuntamiento, cuestionó la capacidad de las empresas para cuantificar riesgos graves y definir responsabilidades en caso de daños. El debate ha impulsado la necesidad de establecer medidas de supervisión independientes y mayor transparencia. El Ayuntamiento de Nueva York estudia nuevas obligaciones para las empresas, incluyendo verificaciones externas y mecanismos de protección para denunciantes, buscando equilibrar el avance tecnológico con la capacidad de control humano.