Google ha lanzado Embedding Gemma Transcribe, una herramienta de transcripción de voz a texto que opera íntegramente en el dispositivo del usuario. El sistema toma el modelo de embeddings multimodales EmbeddingGemma 2, diseñado para mapear texto, imágenes, audio y video en un espacio compartido, y lo adapta para leer palabras directamente de ese espacio. El proceso mantiene el codificador de audio original intacto, utilizando un lector pequeño que mapea cada fragmento de audio en el espacio de texto del modelo. De aproximadamente 229.000 palabras en inglés, el sistema selecciona la más cercana para formar la transcripción, añadiendo posteriormente puntuación y mayúsculas mediante un modelo adicional.
El entrenamiento del lector fue realizado en menos de dos horas utilizando ocho GPUs H100, entrenándose únicamente con datos de habla en inglés de licencia abierta. El modelo base nunca fue entrenado específicamente para la transcripción de voz. En términos de rendimiento, el sistema logra transcribir una hora de audio en 12,6 segundos en un MacBook Air base M3 con 8 GB de RAM, utilizando el Neural Engine de Apple. Esta velocidad supera a otras soluciones comparables, como IBM Granite Speech 5.0 TurboCTC, que tarda 25,7 segundos en la misma configuración, y a modelos de NVIDIA en Macs M4 y M5 Pro. La tasa de error de palabras actual es del 5%, inferior a la de modelos de transcripción de vanguardia, aunque Google reconoce que un lector mejor entrenado podría reducir esta brecha. La herramienta permite a los usuarios insertar archivos de audio o usar la función de dictado por voz en cualquier aplicación, garantizando que el audio nunca abandone la máquina.