Cuatro estudiantes de Maryland demandan a Omnilert por error de IA

Fuentes: Four Maryland students sue Omnilert over AI false gun alert, lawyerscommittee.org

Cuatro estudiantes actuales y exalumnos de una escuela secundaria en Maryland han presentado una demanda judicial contra Omnilert, la empresa desarrolladora del sistema de detección de armas por inteligencia artificial, así como contra la policía del condado de Baltimore, la junta educativa y los funcionarios involucrados. La acción legal, presentada un año después de los hechos, alega detención y búsqueda ilegales basadas en errores tecnológicos y humanos, tras un incidente en el que la IA confundió un paquete de Doritos con un arma de fuego. Los demandantes, Taki Allen, Yui-Osa Ogbeide, Devon Thompson Jr. y Keith Winfield III, fueron detenidos por seis patrullas armadas mientras esperaban en las mesas de picnic de la escuela Kenwood High School en octubre de 2025, tras recibir un aviso falso del sistema Omnilert Gun Detect.

Según la demanda, el incidente ocurrió la tarde del 20 de octubre de 2025, poco después de que el entrenador de fútbol pasara bolsas de Doritos a los jugadores. Taki Allen, un estudiante de noveno grado, tomó varias bolsas y se quedó con sus amigos cerca de las mesas de picnic. De repente, seis patrullas policiales locales emergieron con luces parpadeantes. Los oficiales desarmaron sus armas y los estudiantes se pusieron las manos arriba, según describe la queja. La policía ordenó a los estudiantes arrodillarse, les puso esposas y los buscó, aunque no habían hecho nada malo. Un oficial afirmó que los estudiantes no se habían escapado, lo cual, según la queja, fue una broma inapropiada en un momento de pánico. Los estudiantes reportaron estar en shock, temiendo por sus vidas y experimentando dolor físico debido a las esposas apretadas y un estrés emocional duradero. Taki Allen ha declarado que ya no se siente seguro esperando en la escuela después de las horas de clase, a menudo pagando por transporte para evitar esperar con amigos o familiares.

El sistema Omnilert Gun Detect, que escanea el video de seguridad en busca de armas, emitió una alerta con un 90% de confianza de que había un arma en la escuela. Según la demanda, esta alerta persistió incluso después de que el personal de la escuela y la policía local revisaran la imagen y determinaran que era un error. Aunque el sistema de Omnilert se comercializa como fiable y con pocos falsos positivos, la oficina del inspector general de educación de Maryland encontró que más del 99% de las alertas OGD en las escuelas públicas de Baltimore County eran falsos positivos que no requerían una respuesta policial. La demanda argumenta que, aunque las autoridades cancelaron la alerta, no se establecieron protocolos suficientes para prevenir que las alertas canceladas activaran respuestas policiales armadas. Además, la queja revela mensajes del principal de la escuela que minimizaban el incidente con emojis de risa, y comentarios de los oficiales que criticaban a Omnilert y la IA, lo que sugiere una falta de responsabilidad y empatía por parte de las autoridades.

Damon Hewitt, presidente y director ejecutivo del Lawyers' Committee for Civil Rights Under Law, que representa a los estudiantes, declaró: "Estos estudiantes fueron fallados no solo por una tecnología propensa a falsos positivos, sino también por los adultos que debían mantenerlos seguros cuando los enviamos a la escuela. En lugar de esta protección, se les encontró con armas y se traumatizaron. Y podría haber sido peor". Hewitt advirtió sobre la mezcla tóxica de la sobreconfianza en la tecnología de inteligencia artificial y la comunicación ineficaz entre las autoridades. Leah Frazier, directora de la Iniciativa de Justicia Digital del mismo comité, añadió: "La IA no regulada tiene consecuencias profundas, especialmente cuando involucra a jóvenes. Esta tecnología no debe generalizarse a expensas de regulaciones claras y expectativas para los adultos que la interactúan". La demanda también señala que el sistema de Omnilert continuó emitiendo alertas incluso después de que el personal y la policía determinaran que no había un arma, lo que indica una falla en la supervisión humana y técnica.

Omnilert, el principal de la escuela, la policía de Baltimore y la junta educativa no respondieron inmediatamente a las solicitudes de comentario de The Guardian. Sin embargo, un portavoz de Omnilert declaró a The Baltimore Banner que la empresa estaba revisando la demanda y que "lleva una gran pena por el miedo que experimentaron y sus familias". Por su parte, un portavoz del condado de Baltimore dijo a The New York Times que el distrito no podía comentar sobre la litigación pendiente. El caso Allen, et al. v. Omnilert, et al. se centra en las supuestas fallas del sistema de IA y su impacto en los estudiantes, abogando por una reckoning sobre cómo se está utilizando la IA en la seguridad pública y la educación, especialmente cuando se trata de la seguridad de los niños.