Tapediff es una herramienta de línea de comandos diseñada para el desarrollo de agentes de inteligencia artificial, que permite registrar, reproducir y comparar el tráfico de modelos de lenguaje de gran escala (LLM) de forma local. Su objetivo principal es detectar cambios sutiles en el comportamiento de los agentes, como la adición de llamadas a herramientas o modificaciones en los prompts, que pueden alterar el resultado final sin ser visibles a simple vista. El sistema opera mediante un proxy HTTP en bucle que intercepta las solicitudes a proveedores como OpenAI y Anthropic, redactando las respuestas en archivos JSONL locales para evitar costos de API y garantizar la determinismo en las pruebas.
La herramienta funciona integrándose con los SDK oficiales de OpenAI y Anthropic para Python y Node.js, sin requerir cambios en el código fuente del agente. Los desarrolladores pueden grabar una ejecución de su agente, editar el prompt y luego comparar el nuevo comportamiento con el original usando la función diff. Si el comportamiento cambia, la herramienta devuelve un código de error, lo que permite integrar estas pruebas en pipelines de integración continua (CI) para fallar ante desviaciones de comportamiento. Además, Tapediff soporta el streaming SSE y funciona con APIs compatibles con OpenAI, incluyendo endpoints de proveedores como Gemini. La herramienta requiere Node.js versión 20 o superior y no necesita claves de API para la reproducción, aunque sí requiere una clave para la grabación inicial. Es una solución técnica para escalar la revisión de comportamiento en agentes de IA, superando las limitaciones de la inspección visual manual.