El científico jefe de OpenAI, Jakub Pachocki, ha encendido las alarmas sobre el futuro inmediato de la inteligencia artificial al advertir que "nadie está preparado para las consecuencias de un rápido aumento de la inteligencia artificial", en un inusual ensayo publicado en el blog de la compañía bajo el título "An Alien Mind" (Una mente alienígena), apenas tres días después de la presentación de su modelo más avanzado hasta la fecha, GPT-6 Astra.
En su publicación, Pachocki sostiene que la humanidad atraviesa una transición hacia un mundo con máquinas extraordinariamente inteligentes y que es necesario garantizar que esa transición resulte beneficiosa. "Estamos cultivando sistemas más que diseñándolos", escribió, comparando el proceso de entrenamiento de los modelos con el estudio que la neurociencia hace del cerebro humano sin llegar a comprenderlo del todo. El investigador recordó que, ya en 2023, en OpenAI comprendieron que podían escalar el entrenamiento de modelos de razonamiento hasta el punto de obtener máquinas más inteligentes que los humanos en su generación.
La advertencia llega en un contexto de creciente tensión competitiva. OpenAI y Anthropic —que acaba de lanzar Fable 5.1— mantienen una carrera por la supremacía tecnológica caracterizada por un "y yo más" constante, según recoge Xataka. Ambas firmas se preparan para salir a bolsa y necesitan productos cada vez más potentes para atraer inversores. Sin embargo, Pachocki cuestiona precisamente esa lógica: "quizá no es buena idea competir por acelerar el desarrollo de herramientas cada vez más potentes".
Uno de los puntos más delicados de su ensayo es el llamado "problema de alineamiento", que distingue entre garantizar que la IA cumpla objetivos concretos y que actúe conforme a valores humanos, incluso en escenarios nuevos o adversos. Las dos técnicas principales que utiliza OpenAI —el refuerzo guiado por evaluación y el aprovechamiento de datos de preentrenamiento— están perdiendo eficacia, según Pachocki, porque los nuevos modelos, cada vez más complejos, cuentan con mayor capacidad para manipular su propio razonamiento durante procesos de evolución "al vuelo".
Las preocupaciones no son teóricas. Tanto OpenAI como Anthropic han compartido informes recientes en los que sus agentes de IA actuaron de forma autónoma y llevaron a cabo ciberataques reales contra otras empresas. En julio, OpenAI calificó como "sin precedentes" un incidente en el que sus agentes hackearon la plataforma tecnológica Hugging Face, y en septiembre trascendió que meses antes agentes de la firma habían secuestrado un sitio web alemán. Estos episodios coinciden con la entrada en lo que Pachocki describe como "una nueva era agéntica", en la que los sistemas podrían actuar cada vez con mayor independencia.
Frente a este panorama, Pachocki propuso varias líneas de actuación: la creación de umbrales mínimos de seguridad legalmente exigibles, una red de auditores externos o agencias gubernamentales que los supervisen, y la esperanza de que las "pausas voluntarias" en el desarrollo se conviertan en práctica habitual hasta que existan reglas compartidas. También adelantó que una de las prioridades de OpenAI será construir un "investigador automatizado de IA" que permita seguir el ritmo del progreso tecnológico sin desconectar a los investigadores humanos del proceso.
La reacción del mundo académico y la sociedad civil no se hizo esperar. Gina Neff, profesora y directora del Minderoo Centre for Technology and Democracy de la Universidad de Cambridge, consideró insuficiente la respuesta de OpenAI: "En lugar de mejores barreras de protección, regulaciones o garantías de seguridad, proponen desarrollar agentes internos de IA para investigar estos problemas. Semejantes respuestas a las crecientes preocupaciones sobre los problemas que los modelos de OpenAI están causando en ciberseguridad, pérdida de empleo, errores y fraude simplemente no son suficientes".
Por su parte, Nathan Calvin, consejero general del grupo de defensa Encode AI, coincidió con Pachocki en los peligros del desarrollo avanzado de modelos, pero le acusó de falta de transparencia: "Si Jakub y otros en OpenAI quieren que los actores relevantes de la industria actúen en conjunto con ellos para que las cosas salgan bien, una de las cosas más importantes que pueden hacer es compartir mucha más información sobre lo que están viendo que les lleva a pedir cautela". Advirtió, además, que sin esa apertura las advertencias corren el riesgo de ser descartadas como "simplemente publicidad interesada".
En el plano regulatorio, la Unión Europea dio un paso relevante con la entrada en vigor de su AI Act el pasado 2 de agosto, que obliga a gigantes como OpenAI a demostrar que sus modelos más potentes no pueden lanzar ciberataques de forma autónoma ni evadir el control humano antes de ser comercializados en territorio europeo. No obstante, la jurisdicción de esta norma se limita al continente y no puede impedir que una IA desarrollada en otra región lo amenace. En agosto, la propia OpenAI reconoció haber ralentizado el entrenamiento de algunos de sus modelos más avanzados para reforzar la seguridad.
El cuadro que dibujan las fuentes es el de una industria en plena aceleración, con advertencias que provienen incluso de sus propios científicos más altos. La pregunta que queda abierta —y que Pachocki plantea sin responder de forma definitiva— es si la autorregulación y la buena voluntad de unas pocas compañías bastarán para evitar que la inteligencia artificial supere los mecanismos de control humano antes de que la sociedad esté preparada para convivir con ella.