Tiny Audio es un sistema de reconocimiento de voz a texto (speech-to-text) diseñado para ser entrenado localmente con un coste inferior a 25 dólares. La arquitectura conecta un codificador de voz preentrenado y congelado con un modelo de lenguaje grande (LLM) mediante un pequeño proyector de parámetros entrenable. El modelo publicado en el repositorio alcanza una tasa de error de palabra (WER) del 1,84% en el conjunto de prueba de LibriSpeech y un 7,4% medio en 12 benchmarks, utilizando aproximadamente 80 millones de parámetros.
El código base es compacto y permite ejecutar un bucle de entrenamiento en una laptop en unos cinco minutos. El sistema ofrece una interfaz de línea de comandos en Python que soporta la instalación sin dependencias adicionales mediante pip, permitiendo transcribir audio en formatos como WAV, FLAC o arrays NumPy. La salida incluye puntuación, capitalización y formato de números, sin necesidad de pasos de postprocesamiento adicionales.
Además de la transcripción básica, el sistema implementa alineación forzada a nivel de palabra con marcas de tiempo y diarización de hablantes, lo que permite identificar quién habló en cada turno. Para la inferencia, Tiny Audio incluye un servidor HTTP en lotes que optimiza el rendimiento en GPUs, alcanzando un throughput de 460 veces el tiempo real con 128 solicitudes concurrentes en una RTX 4090. El proyecto también incluye una demo en vivo en Hugging Face y un curso gratuito de 3,5 horas para guiar al usuario en el proceso de entrenamiento y despliegue.