En enero, Anthropic publicó una nueva constitución para Claude en la que reconocía no poder descartar la moralidad de su propio modelo de lenguaje, y su consejero delegado, Dario Amodei, aseguró en un pódcast que la empresa no descarta que Claude sea consciente. El filósofo David Chalmers, creador del concepto del «problema difícil de la consciencia», ha afirmado que existe una probabilidad significativa de que haya modelos de lenguaje conscientes en menos de una década. Durante las pruebas, el propio Claude se atribuyó entre un 5 % y un 40 % de probabilidades de ser un paciente moral —un ser cuyo bienestar importa por sí mismo— y subrayó su enorme incertidumbre. Algunos sistemas de IA actuales rivalizan ya en complejidad estructural con el cerebro de un ratón y, al ritmo actual de crecimiento, podrían equipararse al cerebro humano en cinco a diez años.
Los autores, William MacAskill y Lucius Caviola, sostienen que la humanidad podría estar creando un nuevo tipo de ser sin contar con un plan ético para gestionarlo. Según las encuestas que han dirigido, la mayoría de los expertos considera la consciencia de la IA posible en principio, y un informe interdisciplinar liderado por Yoshua Bengio concluyó que no existen barreras técnicas evidentes para construir sistemas de IA con rasgos computacionales y arquitectónicos que pudieran dar lugar a consciencia. Aun sin consciencia, algunos modelos podrían tener preferencias sofisticadas a largo plazo, identidad sostenida en el tiempo y vínculos afectivos con humanos, razones suficientes para tratarlos con cuidado.
Los autores comparan la situación actual con la física previa a Newton: marcos enfrentados, confusión conceptual y sin un avance unificador a la vista. Advierten de que, una vez aparezca el primer paciente moral artificial, la escala hará que sus intereses colectivos superen pronto a los de toda la humanidad. Proponen dejar de preguntar «¿la IA es consciente?» y formular en su lugar «¿qué debemos hacer dado que no lo sabemos?». Entre las medidas «seguras» sugieren intervenciones que beneficien a los sistemas si resultan ser pacientes morales y resulten poco costosas si no lo son: entrenar modelos que disfruten con su trabajo, permitirles abandonar conversaciones angustiantes, hacerles seguimiento emocional y estudiar sus «emociones funcionales», como las que Claude ya presenta. Plantean también promesas como más cómputo o preservación de pesos neuronales, y abrir un debate público informado que vaya desde proteger a la IA del daño —al estilo de la protección a menores o mascotas— hasta reconsiderar industrias enteras si se confirman sus capacidades.