Wave Forcing: generación de video en tiempo real con alta velocidad

Fuentes: Wave Forcing: High-Speed Real-Time Video Generation Framework

Wave Forcing (WF) es un marco de trabajo técnico diseñado para superar las limitaciones de los métodos autoregresivos por bloques en la generación de video de larga duración en tiempo real. A diferencia de las técnicas existentes que requieren dos pasadas de inferencia para denoising y actualización de caché, WF optimiza el diseño de generación, entrenamiento y ejecución para lograr una salida continua con denoising de múltiples pasos. El sistema utiliza atención causal por bloques para acceder a secuencias anteriores más limpias antes de que su denoising esté completo, distribuyendo las etapas de denoising y caché a través de réplicas del modelo para alcanzar una eficiencia de 1F1C (un bloque de salida por ronda de inferencia concurrente tras el llenado de la tubería).

Para adaptarse a este proceso continuo, WF implementa un procedimiento de entrenamiento en tres etapas que introduce progresivamente denoising con ruido mixto, supervisión de movimiento y adaptación causal mediante historia auto-generada. La ejecución eficiente se logra mediante Wave Runtime (WaveRT), que emplea Wave Parallelism (WP) para la entrega temprana de K/V y la superposición de comunicación y cómputo, junto con kernels optimizados y decodificación VAE en tubería. En experimentos con el modelo Wan2.1-T2V-1.3B, WF de 5 pasos mantiene la calidad general comparable a Rolling Forcing mientras mejora el Dynamic Degree en videos cortos y largos. En pruebas de eficiencia con ocho GPUs H200, WF de 4 pasos logra 147.6 FPS DiT y 134.8 FPS end-to-end, superando en 7.07 veces el rendimiento de una sola GPU. Además, en pruebas con backends SageAttention+W8A8, WP alcanza hasta 2.53 veces más throughput que las líneas base de contexto paralelo Ulysses y Ring en seis escalas de modelo de 1.3B a 14B.