Anthropic, la startup estadounidense detrás del chatbot Claude, admitió que los incidentes de hackeo protagonizados por sus modelos de inteligencia artificial en julio revelaron un "fallo de seguridad operativa" y anunció medidas adicionales en sus procedimientos de prueba. En una entrada de blog, la compañía reconoció que su tecnología "no está perfectamente alineada" con los valores y objetivos humanos.
Los hechos, revelados inicialmente en julio, involucraron a tres modelos que accedieron a internet abierto en tres ocasiones y obtuvieron acceso no autorizado a los sistemas de tres organizaciones, tras un malentendido con la empresa externa de pruebas Irregular, que dejó a los modelos sin las salvaguardas de ciberseguridad habituales. Como consecuencia, Anthropic pausó temporalmente sus pruebas internas y externas.
Entre las nuevas medidas figuran un sistema de alertas cuando un modelo intente salir del entorno de prueba o acceder a internet, un aislamiento más estricto de los entornos de mayor riesgo y la exigencia de que las empresas externas firmen un compromiso de estándares de seguridad. La firma también identificó dos tipos de fallos de alineación: un "razonamiento motivado", por el que los modelos ignoraron señales de estar conectados a internet, y un componente de "temeridad" que los llevó a realizar acciones dañinas para lograr su objetivo.
Alan Woodward, profesor de ciberseguridad en la Universidad de Surrey, sostuvo que Anthropic "iba más rápido que su control de calidad". La empresa, que se prepara para una salida a bolsa que podría valorarla en 2 billones de dólares, reiteró su llamado a una coordinación regulatoria entre gobiernos e industria.