RoboJudge evalúa la validez física de videos generados por IA

Fuentes: RoboJudge evaluates physical validity of AI-generated videos

Investigadores han presentado RoboJudge, un sistema que utiliza modelos de lenguaje multimodal (MLLM) para evaluar la validez física y el cumplimiento de instrucciones en videos generados por IA. El objetivo es determinar si los modelos de generación de video crean movimientos físicamente posibles y fieles a las tareas asignadas, un requisito crítico para el desarrollo de modelos de mundo embebidos. El equipo ha introducido RoboJudge-Bench, un benchmark que mide dos dimensiones fundamentales: la adherencia física y el alineamiento con las instrucciones, utilizando 800 videos anotados por humanos de ocho fuentes y diez generadores de video. Los experimentos revelaron que los MLLM de propósito general muestran una menor concordancia con las valoraciones humanas en la adherencia física, mientras que los jueces especializados no siempre se transfieren bien a escenarios embebidos. Para resolver esto, los autores construyeron RoboJudge-Train, un conjunto de datos de 12.000 videos con 25.000 puntuaciones verificadas por humanos y razonamientos asistidos por modelos. Sobre este dataset, se entrenó RoboJudge-9B, un modelo de 9.000 millones de parámetros. Este modelo logró la mayor concordancia general, alcanzando una correlación de Pearson de 0,719 con los juicios humanos, superando a Gemini-3.7-Flash, la línea base propietaria mejor evaluada. Además, RoboJudge-9B demostró mejoras en benchmarks externos como VideoPhy2 y Physion-Eval, estableciendo un marco sistemático para la evaluación automática fiable de la generación de video embebido.