Agnost AI es una plataforma de observabilidad para agentes de inteligencia artificial respaldada por Y Combinator. Su premisa central es que las pruebas automatizadas (evals) no capturan todos los errores que cometen los agentes en producción, por lo que propone analizar las conversaciones reales de los usuarios para identificar patrones de fallo, fricciones de uso, reintentos repetidos o señales de abandono que las métricas tradicionales pasan por alto.
La herramienta se conecta a las conversaciones de producción y genera de forma automática categorías de fallo relevantes para cada producto, como flujos de trabajo rotos, fricción en el onboarding, riesgo de churn o errores de configuración. A partir de esa información, Agnost AI propone y aplica mejoras, llegando a abrir solicitudes de extracción (PRs) con arreglos generados por la noche. Funciona con cualquier modelo de lenguaje y cualquier framework, se instala en dos minutos y es compatible con OpenTelemetry, lo que facilita su integración en arquitecturas existentes.
La plataforma ofrece tres planes: Starter, gratuito, con hasta 1.000 mensajes mensuales y siete días de retención; Pro, con 100.000 mensajes, 90 días de retención y acceso a un canal de Slack con los fundadores; y Enterprise, con condiciones personalizadas, registros de auditoría y flujos de mejora a medida. Testimonios de usuarios destacan usos como descubrir demandas de funcionalidades inexistentes, mejorar la tasa de reunión de agentes de prospección telefónica o reducir la tasa de errores en producción.