PixVid es un método técnico que permite a los modelos de generación de video trabajar directamente en el espacio de píxeles, superando las limitaciones de los espacios latentes comprimidos. Los modelos de frontera actuales operan en un espacio latente VAE que comprime la información espacial y temporal para facilitar el entrenamiento, pero esta compresión restringe la generación de alta resolución, controlable e interactiva. Al duplicar la resolución, el número de tokens se cuadruplica, y las condiciones se aplican a grupos de fotogramas en lugar de individuales, lo que obliga a esperar respuestas completas para cada bloque.
PixVid mantiene el transformador de difusión pero reemplaza el decodificador VAE por una cabeza convolucional que renderiza las salidas en píxeles. La investigación identifica que predecir el video limpio en lugar de la velocidad, junto con un desplazamiento de ruido mayor, es clave para la calidad. Finajado a partir de Wan2.1-14B, el sistema es competitivo con la línea base latente dentro de aproximadamente 1,3 millones de clips de entrenamiento. Al trabajar fotograma a fotograma en píxeles, PixVid genera a una resolución 2 veces mayor con el mismo conteo de tokens por fotograma, mantiene el edición de video condicionada por profundidad alineada bajo movimiento rápido y responde a cada acción en el fotograma siguiente. Este enfoque permite una interacción más fluida y una mayor fidelidad visual en aplicaciones que requieren control preciso sobre cada fotograma.
