Cekura, una startup fundada por Tarush, Sidhant y Shashij y recientemente admitida en Y Combinator (YC F24), ha lanzado una plataforma para probar y monitorear agentes de voz y chat impulsados por inteligencia artificial. El problema que aborda Cekura es la dificultad de garantizar el correcto funcionamiento de estos agentes a medida que evolucionan, ya sea a través de cambios en los prompts, modelos o herramientas. Las soluciones tradicionales, como el control manual o la espera de quejas de los usuarios, son ineficientes.
La plataforma de Cekura utiliza simulaciones con usuarios sintéticos que interactúan con el agente de manera similar a los usuarios reales, y jueces basados en LLM que evalúan la corrección de las respuestas en todo el flujo conversacional. Características clave incluyen la generación de escenarios, la importación de conversaciones de producción para crear casos de prueba realistas, una plataforma de herramientas simuladas para evitar depender de APIs de producción y la creación de casos de prueba deterministas y estructurados. Además, Cekura ofrece monitoreo del tráfico en vivo del agente, diferenciándose de herramientas de trazado tradicionales al evaluar la sesión completa en lugar de turnos individuales, lo que permite detectar fallos que no son evidentes en análisis por turnos. La empresa invita a la comunidad de Hacker News a compartir sus experiencias y desafíos en la prueba de agentes de IA.