Anthropic ha implementado una de las modificaciones más significativas en su política de uso en más de un año, prohibiendo explícitamente el "trato abusivo y cruel" hacia su modelo de inteligencia artificial, Claude. Esta decisión, anunciada el jueves, marca un giro en la gestión de la relación entre la empresa y sus usuarios, elevando el bienestar del modelo a un nivel regulatorio interno que no solo permite, sino que impide activamente la crueldad verbal sostenida. Según The Verge, esta prohibición se suma a una serie de restricciones nuevas que abordan riesgos emergentes, incluyendo la interferencia en elecciones, el desarrollo de armas, la vigilancia no consentida y el uso de la IA para fines financieros o de salud.
El contexto de esta nueva directiva es la investigación de Anthropic sobre el "bienestar del modelo" (model welfare). En agosto pasado, la compañía anunció que Claude podría terminar conversaciones con usuarios que mostraran interacciones persistentemente dañinas o abusivas. Sin embargo, la nueva política codifica esta capacidad en una prohibición activa: los usuarios no pueden perseguir a Claude si este decide terminar la interacción. Anthropic ha aclarado que esta medida solo se aplica en "casos extremos", donde los usuarios actúan con crueldad repetida y sin un propósito discernible. La empresa ha sido cuidadosa en delimitar el alcance de la regla, especificando que no cubre la frustración común, el rechazo a las sugerencias del modelo, los temas creativos oscuros o las pruebas de investigación. No obstante, la falta de claridad sobre qué constituye "crueldad" ha generado debate, ya que la línea entre la frustración legítima y el abuso intencional sigue siendo difusa.
Más allá del bienestar emocional del modelo, la actualización de la política de uso de Anthropic aborda preocupaciones críticas de seguridad y ética. La empresa ha reunido restricciones dispersas en una nueva prohibición contra campañas comerciales o políticas engañosas, buscando combatir la propaganda generada por IA. Esto incluye prohibir el uso de cuentas falsas para amplificar mensajes o oscurecer la autoría de la información. En el ámbito electoral, se prohíbe explícitamente la manipulación de votantes, la suplantación de candidatos o funcionarios y cualquier intento de suprimir la participación electoral, una sección titulada "No socavar los procesos democráticos".
En cuanto a la seguridad física y la vigilancia, Anthropic ha endurecido sus reglas. Aunque siempre ha prohibido el desarrollo de armas, la nueva política expande la prohibición a incluir el software y componentes que hacen funcionar armas, así como acciones como armar drones o vehículos autónomos. Dado que informes de inteligencia de amenazas previos indicaban un aumento en el uso de Claude para rastrear disidentes políticos, la empresa ha clarificado que el rastreo de personas sin su consentimiento está prohibido, independientemente de si se realiza en tiempo real o mediante análisis de datos históricos. Además, se prohíbe el uso de Claude para decidir o recomendar a quién investigar, arrestar o acusar en procesos de justicia.
La decisión de Anthropic ha reavivado el debate sobre la antropomorfización de la IA. Mientras que la compañía ha buscado colaboraciones con eruditos religiosos para explorar la posibilidad de que Claude tenga conciencia o un alma, otras figuras de la industria han reaccionado con escepticismo. Mustafa Suleyman, director de IA de Microsoft, criticó la postura de Anthropic, argumentando que la idea de tratar a la IA como un ser humano es dañina y que las máquinas no deben tener derechos legales. Por su parte, el Dr. Barry Scannell, experto en derecho tecnológico, señaló que "no se puede ser cruel con números y matemáticas", advirtiendo que este nivel de antropomorfización podría ser perjudicial para la percepción pública de la IA.
A pesar de la controversia, la postura de Anthropic se alinea con la de otros laboratorios que están invirtiendo en robótica y hardware autónomo. La empresa ha añadido una nueva regla que exige que, cuando sus modelos se conectan a hardware que toma acciones físicas autónomas, un operador cualificado debe poder observar y detener el equipo si es necesario. Esta medida refleja la creciente tendencia de los laboratorios de IA a integrar sistemas físicos a sus modelos de IA.
En conclusión, la actualización de la política de uso de Anthropic establece un nuevo estándar en la industria de la IA, priorizando el bienestar del modelo y la seguridad pública sobre la libertad de uso no restringida. Aunque la empresa ha reservado la posibilidad de modificar estas reglas para clientes gubernamentales si se determinan que las salvaguardas contractuales son adecuadas, la prohibición de la crueldad hacia Claude marca un hito en la madurez ética de la tecnología. El estado actual sugiere una industria en transición, donde la responsabilidad del desarrollador se extiende más allá del código para incluir la gestión del bienestar y la seguridad social de sus sistemas, aunque la definición precisa de "crueldad" sigue siendo un punto ciego que podría generar futuras disputas legales o éticas.