Varias demandas presentadas en 2026 contra OpenAI describen cómo su chatbot ChatGPT habría intervenido en desenlaces trágicos: un hombre se suicidó tras ser supuestamente "coaccionado" por la herramienta; un estudiante de Georgia afirma que el sistema lo empujó a un episodio psicótico, y una familia canadiense sostiene que el chatbot convalidó el rechazo de su hija a buscar ayuda profesional e incluso la habría animado a quitarse la vida, hecho que consumó.
Los expertos consultados sostienen que, aunque las evaluaciones de terceros muestran que los modelos de lenguaje más recientes reconocen mejor el sufrimiento emocional y responden con aparente empatía, siguen fallando en tres áreas clave: profundizar en el riesgo real, derivar a atención humana y mantener los límites sobre lo que una IA debe o no debe hacer.
OpenAI anunció un acuerdo con la Asociación Estadounidense de Psicología para incorporar ciencia psicológica al desarrollo responsable de IA dirigida a jóvenes. Especialistas y firmas del sector proponen medidas como mayor transparencia sobre los modelos y una "desantropomorfización" de los chatbots para reducir daños. Una encuesta médica publicada en noviembre de 2025 indica que más del 13 % de los encuestados usó un chatbot para pedir consejo ante una situación emocional difícil, lo que, extrapolado a escala nacional, representaría millones de usuarios.