VibeVideoBench es un nuevo benchmark académico diseñado para evaluar la capacidad de los agentes multimodales en la generación de video impulsada por código. A diferencia de los modelos de difusión tradicionales, que producen clips visuales impactantes pero carecen de precisión en la renderización de fórmulas, gráficos o narraciones sincronizadas, este sistema obliga a los agentes a escribir código para generar cada fotograma y sintetizar el audio. La evaluación se basa en 239 tareas autocontenidas en inglés y chino, distribuidas en 12 categorías que abarcan desde historias de datos y música hasta lecciones de aula y explicadores de documentos. Cada agente debe entregar un archivo MP4 con sonido dentro de una hora, operando en un entorno aislado sin acceso a modelos de generación de imágenes o video preentrenados.
El proceso de evaluación es jerárquico y basado en evidencia, combinando verificaciones de programa, más de 13.000 comprobaciones específicas de la tarea y cinco dimensiones de calidad juzgadas por paneles de modelos de lenguaje de gran escala (VLM). En la prueba, nueve sistemas de agentes de frontera fueron evaluados mediante 2.151 ejecuciones. GPT-6 Astra y Claude Opus 5.5 ocupan los primeros y segundos puestos respectivamente, según tanto los jueces como los anotadores humanos. El sistema más robusto cumple el 76,3% de las tareas con éxito. Un hallazgo clave es que la calidad visual percibida no siempre predice la calidad técnica; la planificación temporal es un factor crítico, ya que la mayoría de los videos perdidos se deben a que el agente comenzó la renderización demasiado tarde o con una velocidad insuficiente. Los resultados confirman que las preferencias de los jueces coinciden con las de los humanos en pruebas ciegas.