Coverage-Cat (CATT) es una herramienta de software diseñada para evaluar cómo un asistente de inteligencia artificial interactúa con servicios externos. Su función principal es ejecutar agentes de prueba, ya sea mediante scripts o modelos de IA, contra servidores MCP, aplicaciones, sitios web y APIs HTTP. El sistema permite a los desarrolladores verificar qué acciones realiza el servicio, inspeccionar la evidencia generada y comparar resultados entre diferentes versiones del código.
La herramienta soporta dos objetivos de emulación de surrogate: Muse y Instinct, ambos utilizando un contrato de pruebas compartido que cubre enrutamiento, memoria, pagos y tareas de navegador. Es importante destacar que CATT actúa como un surrogate que aproxima el host del asistente, no su implementación privada. Por lo tanto, un test aprobado no certifica la compatibilidad total con los asistentes de Meta, OpenAI o Anthropic, ya que cada comportamiento específico de Muse tiene una base documentada, no oficial o asumida. El proyecto no está afiliado ni respaldado por estas organizaciones.
CATT incluye múltiples carriles de prueba, como la verificación de conectores MCP, la preparación de conectores específicos de Muse e Instinct, y la inspección de aplicaciones MCP integradas. También permite probar sitios web mediante Chromium y APIs HTTP, aunque estas últimas requieren una implementación en bucle local y un controlador de control privado. La herramienta requiere Python 3.12 o superior y Node.js 20 o superior, y está diseñada para entornos de desarrollo que buscan validar la funcionalidad de sus servicios ante agentes de IA de forma controlada y reproducible.