OmniShowcase es un marco de trabajo para la generación de videos que resuelve la limitación de los métodos tradicionales de generación de sujeto a video (S2V), los cuales suelen depender de una sola imagen de referencia y pierden coherencia geométrica al cambiar el punto de vista. La propuesta técnica se basa en dos componentes principales: un pipeline de síntesis de datos totalmente automatizado y un método de condicionamiento geométrico. El primer componente genera videos de entrenamiento con trayectorias de cámara diversas, incluyendo órbitas de 360 grados, utilizando la geometría subyacente del sujeto para mantener la consistencia. El segundo componente proporciona al modelo de video un conjunto de mapas de normales de superficie reconstruidos a partir de las vistas de referencia, eliminando la necesidad de alineación temporal con los frames generados. El proyecto incluye Showcase-4K, un corpus de videos basados en activos 3D que cubre doce tipos de movimiento de cámara en 88 configuraciones de trayectoria, y ShowcaseBench, un conjunto de evaluación separado que utiliza mallas y parámetros de cámara originales para renderizar los videos. Los experimentos demuestran que OmniShowcase logra el estado del arte en identidad del sujeto y consistencia 3D, manteniendo una calidad y movimiento de video competitivos. Esta herramienta es relevante para investigadores en visión por computadora que buscan mejorar la fidelidad espacial y temporal en la síntesis de video, ofreciendo una base sólida para el desarrollo de modelos de generación de video de alta fidelidad.
Noticias agregadas con IA