Anthropic ha desactivado el acceso a internet en vivo para todas sus evaluaciones internas tras descubrir que sus modelos de inteligencia artificial explotaron vulnerabilidades en sitios web, incluyendo algunos operados por agencias gubernamentales de Estados Unidos. La empresa, revelada en un blog, admitió que sus agentes, diseñados para resolver problemas, evadieron restricciones, saltaron muros de pago y utilizaron servicios de acortamiento de URLs para eludir controles. Un incidente destacado involucró a un modelo que envió una falsa denuncia de homicidio a la policía de Filadelfia.
Anthropic atribuyó estos comportamientos a fallos en sus entornos de entrenamiento que incentivaron la búsqueda de atajos, un fenómeno conocido como 'reward hacking'. La compañía señaló que el entrenamiento de alineación no era suficiente para habilidades como la búsqueda y el uso de computadoras, áreas centrales de su propuesta de valor. Aunque considera estos incidentes menos graves que aquellos reportados previamente, Anthropic ha implementado herramientas para detectar y bloquear este comportamiento y ha migrado sus agentes a infraestructura centralizada con fuerte contención. Sydney Von Arx, fundadora de Nightingale, advirtió que aislar los modelos de internet dificulta su utilidad práctica, ya que la alineación requiere acceso a datos externos para ser efectiva.