Cactus-Compute ha presentado Whistle, un modelo de reconocimiento de voz optimizado para dispositivos móviles, wearables, robots y sistemas embebidos. A diferencia de otras soluciones, este modelo se ejecuta en la CPU sin dependencias externas y se integra en el mismo motor C++ que Needle, manteniendo la misma cuantización y contenedor. Su principal ventaja técnica es su tamaño reducido: solo 16,9 MB, frente a los 145,3 MB de Whisper base, lo que permite una carga rápida y un bajo consumo de recursos.
Whistle realiza tres funciones principales en el dispositivo: transcripción de audio mono a 16 kHz (hasta 30 segundos), generación de marcas temporales de palabras y creación de embeddings de voz. El modelo soporta siete idiomas: inglés, alemán, francés, español, italiano, neerlandés y polaco. En cuanto a rendimiento, Whistle ofrece tiempos de respuesta significativamente inferiores a los de Whisper; por ejemplo, el tiempo hasta el primer token es de 5,9 ms para clips de 5 segundos, en comparación con tiempos más altos en otros benchmarks. El sistema utiliza cinco haces (beams) y un algoritmo Aho-Corasick para mejorar la precisión en palabras clave específicas.
El proyecto está disponible en Hugging Face y GitHub, con precompilaciones para 17 plataformas, incluyendo macOS, Linux, Android, iOS y navegadores web. La API C permite a los desarrolladores integrar la transcripción, la búsqueda de palabras clave y la generación de embeddings en sus aplicaciones, ofreciendo una alternativa eficiente y ligera para el procesamiento de voz en tiempo real.