claude-real-video es una herramienta de código abierto (licencia MIT) que permite a cualquier modelo de lenguaje, como Claude, ChatGPT o Gemini, "ver" de verdad el contenido de un vídeo en lugar de limitarse a leer su transcripción. Funciona en local, sin subir archivos a la nube, y admite tanto URLs (YouTube, Instagram, TikTok, etc.) como archivos locales.
A diferencia de los flujos habituales —basados en muestrear fotogramas a intervalos fijos, como hace Gemini de forma nativa a 1 fps—, la herramienta aplica detección de cambios de escena combinada con un suelo de densidad temporal. De este modo captura cada corte visual en un vídeo de edición rápida y, al mismo tiempo, colapsa en una sola imagen escenas estáticas de varios minutos. Además, descarta fotogramas casi idénticos comparándolos con una ventana deslizante, evitando reenviar la misma toma después de un corteaway A-B-A. El resultado son carpetas de frames optimizadas, que consumen menos contexto y ofrecen una comprensión más precisa.
En el apartado sonoro, incorpora transcripción mediante Whisper con detección de idioma, reutiliza subtítulos .srt/.vtt cuando están disponibles y, opcionalmente, conserva la pista de audio original (audio.m4a) para modelos multimodales que puedan escucharla, como Gemini o GPT-4o. Incluye también opciones avanzadas como cookies Netscape para contenido protegido, ajuste de sensibilidad de escena, generación de un informe HTML con las decisiones de descartado e instalación flexible vía pip, con extras opcionales para Whisper.
Entre sus requisitos están Python 3.10+ y ffmpeg/ffprobe instalados en el sistema. Funciona en macOS, Windows y Linux.