Shumai es una plataforma de código abierto pensada para centralizar y gestionar el trabajo creativo de equipos que producen vídeo, imagen y otros activos digitales. La herramienta combina almacenamiento compatible con S3, anotaciones cuadro a cuadro sobre vídeos e imágenes, enlaces seguros de uso compartido, colecciones de medios y control de acceso granular por equipo y proyecto.
Uno de sus elementos diferenciales es la integración de un agente de inteligencia artificial con contexto del proyecto. El agente puede mantener conversaciones dentro del espacio de trabajo, ejecutar herramientas y scripts personalizados, y correr en un entorno aislado mediante bubblewrap y socat. Además, Shumai genera automáticamente etiquetas, descripciones y metadatos personalizados para los nuevos activos usando Google Gemini, y permite búsqueda semántica basada en embeddings vectoriales sobre el contenido visual o conceptual.
En el apartado técnico, la transcodificación de vídeo se delega a un pool de workers en segundo plano orquestado con Temporal, lo que evita bloquear el servidor principal. La aplicación utiliza PostgreSQL con la extensión pgvector y puede ejecutarse de tres formas: mediante Docker Compose (el método más rápido), instalando el paquete @shumai-one/shumai disponible en NPM, PNPM o Bun, o clonando el repositorio para desarrollo local con Bun. En todos los casos requiere ffmpeg y, en sistemas Linux, bubblewrap, socat y ripgrep.
Una vez iniciado, Shumai levanta el servidor web en el puerto 3000, aplica las migraciones de base de datos de forma automática e incluye una interfaz de línea de comandos para administrar proyectos, carpetas, activos y versiones desde el terminal.