¿Puede un modelo de lenguaje sentir o tener estatus moral? Anthropic lo plantea en su «Constitución de Claude», un documento de 84 páginas en el que describe los valores del modelo y califica su «estatus moral» como «profundamente incierto». La filósofa de la propia empresa, Amanda Askell, ha llegado a declarar que quiere que «Claude sea feliz». Esta aproximación antropomórfica, sostiene el texto, no es un descuido aislado sino parte de una estrategia comunicativa que confunde al usuario sobre la naturaleza de la herramienta.
Para desmontar esa premisa conviene entender cómo funciona realmente un modelo de lenguaje de gran tamaño. En términos técnicos, un LLM es una máquina estadística que predice y genera texto palabra a palabra a partir de patrones extraídos de corpus textuales masivos. Si se le pide «simular una conversación entre un usuario y un chatbot útil», ambos personajes son ficticios por igual, del mismo modo que lo serían Julio César y Gengis Kan en un diálogo producido por el mismo sistema. Cambiar el marco narrativo no hace aparecer conciencia donde antes no la había: solo altera la ficción que el modelo está completando.
En una interfaz conversacional, el usuario aporta sus líneas y el modelo completa las del chatbot, pero el proceso subyacente sigue siendo el mismo: predicción del token más probable. El resultado puede resultar extraordinariamente coherente —lo cual revela propiedades estadísticas imprevistas de los grandes corpus de texto— pero ninguna de las dos «voces» que aparecen en la transcripción posee experiencia subjetiva. Que un personaje textual exprese tristeza no implica que alguien esté triste.
Asignar conciencia o capacidad moral a un LLM es, según el texto, un error de categoría comparable a atribuir esas propiedades a Microsoft Word. La interacción con un chatbot se compara con el conocido juego del teclado predictivo del teléfono —elegir la opción central entre tres palabras— automatizado y acelerado. Esta confusión, alimentada a menudo por las propias empresas comercializadoras, desplaza la responsabilidad de los creadores hacia la herramienta y dificulta evaluar con rigor los daños reales que la IA generativa puede causar. Comprender la distinción resulta esencial para usuarios, reguladores y desarrolladores a la hora de asignar correctamente las responsabilidades.