VoxMel: un marco de TTS autoregresivo sin tokenizadores

Fuentes: VoxMel: A Tokenizer-Free Autoregressive TTS Framework

El informe técnico VoxMel presenta un nuevo marco para la síntesis de voz (TTS) autoregresiva que elimina la necesidad de tokenizadores, resolviendo la limitación de fidelidad de los modelos basados en representaciones comprimidas aprendidas. La propuesta, publicada en arXiv, introduce una transformación de Haar de dos ejes fija e invertible exactamente para modelar espectrogramas mel de manera estable. Este método descompone cada espectrograma en un promedio local por frecuencia y un residuo de frecuencia, y luego divide el componente promedio por tiempo en Coarse-Mel y un residuo temporal. Un modelo de lenguaje con una cabeza de ajuste de flujo genera autoregresivamente el Coarse-Mel, mientras que capas residuales no autoregresivas predicen los residuos temporales y de frecuencia. El sistema se entrenó con 100.000 horas de audio Emilia y un modelo supervisado de 0,6B parámetros, logrando un error de palabra (WER) del 1,51% y una similitud de hablante (SIM) del 0,738 en el conjunto de prueba en inglés. Al aplicar el algoritmo GRPO, estos resultados mejoraron hasta un WER del 1,15% y una SIM del 0,753. Además, el trabajo detalla la destilación de la cabeza de flujo guiada en estudiantes de dos y cuatro pasos, donde el modelo de cuatro pasos mantiene una SIM competitiva y casi iguala al modelo supervisado en WER y CER, requiriendo solo dos o cuatro evaluaciones de cabeza por cuadro grueso.