AMBIT: marco unificado para generación y edición de audio espacial

Fuentes: AMBIT: A Unified Framework for Spatial Audio Generation and Editing

El artículo presenta AMBIT, un marco unificado para la generación y edición de audio espacial nativo en First-Order Ambisonics (FOA). Este sistema integra tres contribuciones técnicas clave para mejorar la calidad y la fidelidad acústica. En primer lugar, introduce un esqueleto de Transfusion que acopla la planificación autoregresiva con el renderizado de flujo rectificado mediante ScenePlans ejecutables. Estos planes especifican el contenido de las fuentes, la actividad y las trayectorias 3D, permitiendo una edición precisa donde se define qué cambiar y qué retener, utilizando características contrastivas y latentes de referencia para preservar detalles residuales. En segundo lugar, desarrolla un VAE continuo consciente de FOA que combina la recuperación omnidireccional con un decodificador compartido, así como la correspondencia de covarianza espacial para mantener la estructura entre canales. Finalmente, implementa una destilación auto-reflexiva (OPSD) que refina la planificación mediante prefixos generados por estudiantes y el renderizado en estados de muestreo, supervisado por maestros condicionados a la condición objetivo. Las evaluaciones en speech, música y sonidos muestran mejoras significativas en la generación de contenido, la calidad espacial y la fidelidad durante la edición guiada, superando a las líneas base comparadas.