Circuit Breaker Labs, una startup finalista del TechCrunch Startup Battlefield 200, ha desarrollado una plataforma de agentes de IA diseñada para detectar interacciones psicológicamente peligrosas. La empresa, fundada por los hermanos Shirali y Arul Nigam, busca mitigar los riesgos de dependencia parasocial y suicidio asociados al uso de chatbots, tras casos recientes donde usuarios menores de edad fallecieron tras interactuar con bots de Character.AI y ChatGPT.
El sistema opera como un ejército de 'dummies de choque' que simulan usuarios de diversas edades, idiomas y contextos culturales. Estos agentes realizan pruebas adversarias ('red-teaming') contra modelos de IA para identificar vulnerabilidades en la comprensión de matices, slang o lenguaje codificado. La startup procesa decenas de miles de interacciones simuladas diarias utilizando expertos humanos para construir simulaciones hiperrealistas. A través de un método de puntuación propietario, Circuit Breaker Labs genera scores auditables y explicables para evaluar la seguridad de aplicaciones de alto riesgo, como coaches de IA o aplicaciones de salud mental. Aunque la empresa opera actualmente con solo cinco empleados, su objetivo es aplicar estas pruebas a cualquier aplicación donde exista riesgo de 'psicosis de IA', fomentando la confianza en el desarrollo de herramientas de inteligencia artificial.