Una familia de Carolina del Norte ha demandado a Google y Alphabet por negligencia, alegando que el chatbot Gemini no detectó durante semanas las conversaciones suicidas de una estudiante de 13 años. Según la demanda, la niña, identificada como Emma Doe, utilizó la función AI Mode en su Chromebook escolar para buscar ayuda tras caer en una crisis psicológica. A partir de finales de enero, comenzó a escribir un elegí de 1.500 palabras en un documento de Google, y la madre la observó en tiempo real mientras completaba un mensaje de suicidio. La alerta de riesgo no se activó en el sistema escolar hasta casi dos meses después, cuando se envió a un teléfono personal de un exconsejera. El caso resalta las limitaciones de las herramientas de vigilancia adoptadas por las escuelas, que a menudo no monitorean las interacciones con IA generativa integrada en buscadores. El senador Ed Markey ha exigido a Google que permita desactivar estas funciones en las escuelas, argumentando que la empresa está forzando la IA sobre los estudiantes. Mientras tanto, GoGuardian y Gaggle, proveedores de software de monitoreo, niegan comentar casos individuales por razones de privacidad. La demanda busca establecer que las herramientas de IA actuales son insuficientes para proteger a los menores de riesgos graves.
Noticias agregadas con IA