La automejora recursiva de la IA genera alarma en OpenAI y Anthropic

Fuentes: La automejora recursiva de la IA genera alarma en OpenAI y AnthropicT3clickbait

La inteligencia artificial está comenzando a participar activamente en el desarrollo de sus propias sucesoras, un fenómeno conocido como automejora recursiva (RSI) que ha generado alarma en OpenAI, Anthropic y otras grandes tecnológicas. Dario Amodei, CEO de Anthropic, reabrió el debate sobre la necesidad de frenar el ritmo de desarrollo de los sistemas más avanzados, señalando que la IA avanza drásticamente más rápido desde el verano pasado gracias a su capacidad para construir la siguiente generación de modelos. Jacob Coxon, investigador de Anthropic y antiguo empleado de OpenAI, abandonó su puesto el 8 de septiembre para acusar a ambas empresas de competir por desarrollar una superinteligencia capaz de auto-mejarse sin haber resuelto aún cómo mantenerla bajo control. Evan Hubinger, responsable de ciencia de alineamiento en Anthropic, reconoció que la compañía no cuenta con un plan para resolver el problema del alineamiento de una superinteligencia. Aunque los modelos actuales pueden escribir y revisar código y encadenar acciones con menor intervención humana, ningún sistema puede diseñar y desarrollar de forma totalmente autónoma a su sucesor. Jakub Pachocki, científico jefe de OpenAI, advierte que la clave está en acompasar el avance de los modelos con el de las herramientas de monitorización y alineamiento, sugiriendo que los laboratorios deben ralentizar el desarrollo futuro si las garantías no son suficientes. La RSI completa sigue siendo una posibilidad teórica, pero la IA ya no es solo el producto a mejorar, sino también la herramienta con la que se construye su propia evolución.