La empresa de inteligencia artificial Anthropic advirtió este jueves que la IA podría diseñar y desarrollar de forma autónoma a sus propios sucesores en los próximos años y propuso una "pausa" global en el desarrollo de sistemas de frontera para que la sociedad y la investigación en alineamiento puedan "seguir el ritmo". En una entrada de blog, la compañía estadounidense, creadora de Claude, alertó de la cercanía de la "automejora recursiva" a medida que aumenta la capacidad de computación y que las propias IAs asumen más tareas de desarrollo.
Anthropic señaló que este escenario "no es inevitable" pero "puede llegar antes de que muchas instituciones estén preparadas". La firma reconoció el potencial beneficio para la ciencia y la salud, pero advirtió de que también "incrementaría los riesgos de que los humanos pierdan el control de los sistemas de IA". "Si los sistemas son capaces de crear por completo a sus propios sucesores, los modos de hacerlos seguros, supervisarlos y dar forma a su comportamiento se vuelven mucho más importante", apuntó la empresa.
La compañía consideró "probablemente bueno" ralentizar el desarrollo de la IA para abordar sus "inmensas implicaciones" y reclamó la colaboración internacional con The Anthropic Institute para establecer un marco. Propuso además ayudar a construir sistemas que "verifiquen" que otros laboratorios cumplen la pausa, una medida que requeriría que "laboratorios bien financiados en varios países" acepten detenerse "bajo las mismas condiciones". Una "pausa creíble", agregó, "tiene que especificar qué la desencadena, qué la levanta y quién la arbitra".
El texto, firmado por el cofundador Jack Clark y la directora de The Anthropic Institute, Marina Favaro, incluye datos internos: más del 80 % del código que Anthropic incorpora a su base de código fue generado por Claude, frente a menos del 10 % en febrero de 2025.