Haru-4B: modelo de diálogo continuo multilingüe de baja latencia

Fuentes: Haru-4B: low-latency multilingual continuous spoken dialogue model

Haru-4B es un modelo de lenguaje de base de 4.000 millones de parámetros diseñado para el diálogo hablado continuo de baja latencia, capaz de escuchar y hablar simultáneamente. Desarrollado por Higurashi AI, este modelo se preentrenó para funcionar como una base para investigación, ofreciendo una arquitectura que integra el procesamiento de audio y texto en un solo paso de muestreo. El sistema opera a una frecuencia de 7,5 Hz, procesando audio de entrada y generando audio y texto de salida cada 133 milisegundos, lo que permite una interacción fluida sin esperas entre la entrada del usuario y la respuesta del modelo.

Técnicamente, Haru-4B utiliza el modelo de lenguaje Qwen3.5-4B como esqueleto textual, combinado con un codificador acústico VibeVoice y una cabeza de audio basada en MeanFlow. Esta última genera la señal de audio latente de 64 dimensiones directamente desde el estado oculto del modelo, eliminando la necesidad de transformadores de audio separados o tokens discretos. El modelo soporta nueve idiomas, incluyendo inglés, español, portugués, alemán, francés, chino, japonés, ruso y coreano. La interfaz permite controlar el personaje mediante tarjetas de texto y la voz mediante clips de referencia de audio.

La implementación incluye una versión en PyTorch con una demostración web y una versión en MLX para macOS. Para su uso, se recomienda un equipo con GPU NVIDIA de al menos 12 GB de memoria. El código está disponible bajo licencia Apache 2.0, aunque los desarrolladores advierten que el modelo no es una fuente fiable de hechos ni sigue instrucciones de forma estricta, y que el uso de voces de terceros requiere permiso legal.