Fish Audio Drama 3 es un modelo de texto a voz de nueva generación diseñado para escenas multiconversacionales y contenidos de larga duración. Con 35.000 millones de parámetros y 3.000 millones activos por token, utiliza una arquitectura MoE (Mixture of Experts) con atención híbrida para optimizar el rendimiento y la calidad. El sistema soporta la generación de múltiples hablantes, el clonaje de voz y el control por lenguaje natural, permitiendo hasta 16 caracteres por texto mediante etiquetas de hablante específicas.
El modelo está optimizado para el streaming, procesando el texto en fragmentos automáticamente y permitiendo la edición en tiempo real mediante tokens VQ previos. La implementación inicial se realiza a través de SGLang Omni, que ofrece una API de streaming con ejemplos de cocina para la instalación y despliegue. En pruebas realizadas en GPUs NVIDIA H200, el modelo logra un throughput de 1.687,3 frames por segundo a una concurrencia de 64, con un tiempo de primer audio (TTFA) medio de 304,6 ms. La configuración de despliegue permite mover el decodificador de voz a una GPU secundaria para mejorar el rendimiento en cargas de trabajo intensivas, logrando un aumento del 72% en el throughput y reduciendo el TTFA medio en un 37% a 256 flujos concurrentes. El modelo está licenciado bajo la Fish Audio Community License y cuenta con 839 descargas en el último mes.