Evan Hubinger, responsable de la estrategia de alineamiento en Anthropic, estima en más del 10% la probabilidad de que la inteligencia artificial provoque la extinción humana durante la próxima década. Su comentario respaldó la decisión de su colega Jacob Coxon de abandonar la compañía, denunciando que las empresas del sector están «jugando con nuestras vidas». Hubinger aclara que el riesgo no procede de los modelos actuales, sino de una futura superinteligencia creada por automejora recursiva, es decir, sistemas de IA que diseñen versiones aún más avanzadas de sí mismos.
El llamado p(doom) —probabilidad subjetiva de catástrofe— es una estimación sin base experimental: podría ser 10%, 90% o 0%. Los expertos consultados por The Wall Street Journal dividen los escenarios de riesgo en dos familias: la pérdida de control ante una IA con objetivos incompatibles con los humanos, y el uso deliberado de la IA para fabricar virus letales, lanzar ciberataques o atacar infraestructuras críticas.
Coxon, que renunció a su participación económica en Anthropic, considera que su antiguo empleador gestiona mejor la seguridad que sus rivales, pero advierte del dilema del prisionero: aunque una empresa quisiera frenar, competiría en desventaja si las demás continúan. En China existe una creciente comunidad investigando seguridad de IA, aunque sin la expresión pública de Silicon Valley. Coxon aboga por un acuerdo internacional —similar al control de materiales nucleares— que incluya a China, y recuerda que EE UU y China preparan sus primeras conversaciones bilaterales sobre seguridad de IA este mes.