Nvidia ha lanzado el 3 de marzo su nuevo modelo de reconocimiento de voz de pesos abiertos, Nemotron 3.5 Transcribe, una herramienta de 30.000 millones de parámetros diseñada para transcribir audio en hasta 40 idiomas. Este modelo, disponible gratuitamente en Hugging Face y ModelScope, marca un hito significativo al posicionarse como el líder entre los modelos de voz de pesos abiertos en la tabla de clasificación de Hugging Face (Open ASR Leaderboard), superando a sus competidores directos en métricas de precisión. La compañía también ha presentado la versión 2 de Granary, su conjunto de datos de voz de código abierto, junto con herramientas de ajuste fino para adaptar el modelo a jergas específicas de industrias como la médica o empresarial.
El desarrollo de Nemotron 3.5 Transcribe responde a una demanda creciente de aplicaciones que requieren no solo la transcripción de texto, sino también la atribución de hablantes (diarización) y la traducción simultánea. Según los datos proporcionados por Nvidia, el modelo puede distinguir hasta ocho hablantes en una grabación, traducir 31 idiomas hacia y desde el inglés, y manejar grabaciones de hasta una hora de duración. A diferencia de otros modelos de la competencia, que a menudo se limitan a flujos de audio en vivo, Nemotron 3.5 Transcribe está optimizado para audio grabado, lo que lo hace ideal para la creación de transcripciones permanentes de reuniones, clases o dictados médicos. La empresa destaca que el modelo es "promptable", lo que significa que los desarrolladores pueden utilizar instrucciones en lenguaje natural para guiar la salida, por ejemplo, pidiendo explícitamente la etiquetado de hablantes o la traducción a un idioma específico.
En cuanto al rendimiento técnico, Nvidia afirma que su modelo supera a los rivales en benchmarks clave. En la tabla de clasificación de Hugging Face para inglés, Nemotron 3.5 Transcribe lidera con una tasa de error de palabra (WER) promedio del 5,33%. En la categoría multilingüe, alcanza una WER media del 4,62% en siete idiomas, y en grabaciones de larga duración, mantiene una WER media del 10,98%, siendo el mejor entre los modelos de pesos abiertos evaluados. Además, en la tabla de atribución de hablantes de David AI, el modelo registra la tasa de error más baja en un conjunto de 21 idiomas. Estas cifras lo sitúan en la frontera de precisión frente al tamaño de parámetros activo, según el índice de Artificial Analysis, donde obtiene un 2,8% de WER con aproximadamente 4.000 millones de parámetros activos, frente a los 24.000 millones de un modelo que comparte el primer puesto en esa categoría.
Uno de los aspectos más distintivos de esta liberación es la capacidad de ejecución local. Nvidia promete que el modelo puede ejecutarse en un solo chip, desde el controlador de robótica Jetson AGX Thor y el chip DGX Spark (que impulsa los nuevos portátiles de Nvidia) hasta las GPUs de datacenter Blackwell. Esta característica reduce drásticamente la barrera de entrada para los desarrolladores, permitiendo que las aplicaciones funcionen sin necesidad de infraestructura de nube costosa, aunque la empresa aclara que la versión actual no soporta transmisiones en vivo, sino audio grabado.
El lanzamiento de Nemotron 3.5 Transcribe llega en un momento de intensa actividad en el sector de la voz con IA. Competidores como Mistral, que lanzó Voxtral 3, ElevenLabs, con su herramienta Realtime para agentes de voz, y Salesforce, con Launa-Omni, han presentado sus propios modelos de voz recientemente. En este contexto, Nvidia busca consolidar su posición no solo en la nube, sino también en el edge computing, ofreciendo una solución versátil que abarca desde la transcripción básica hasta el análisis avanzado de audio.
Para los desarrolladores, Nvidia ha proporcionado un ecosistema completo que incluye el modelo, el dataset Granary v2 y herramientas de ajuste fino mediante NeMo Speech. El dataset Granary v2 ofrece un pipeline de curación multilingüe y recetas de ajuste fino para adaptar el modelo a vocabularios específicos. Por ejemplo, en un caso de estudio médico, el ajuste fino redujo la tasa de error de palabra (WER) en hablantes no vistos en un 45,8% en comparación con el mejor prompt. Esto permite a las empresas personalizar el modelo para jergas técnicas, acentos regionales o terminología médica específica, mejorando la precisión en entornos profesionales donde el error de transcripción puede tener consecuencias graves.
La aplicación práctica de estas herramientas ya está siendo probada en la industria. Agora, la plataforma de video y voz en tiempo real de Meta, ha utilizado timestamps a nivel de palabra en una demostración de clase en vivo para convertir grabaciones de clases en transcripciones que se muestran junto con la reproducción, permitiendo a los estudiantes ver qué se dijo y cuándo. Esta funcionalidad transforma las sesiones de enseñanza en recursos de aprendizaje duraderos, un uso que podría extenderse a la transcripción de reuniones corporativas y la documentación de procesos médicos.
En conclusión, Nvidia ha lanzado una herramienta de vanguardia que combina potencia de cálculo local con capacidades multilingües avanzadas. Al ofrecer un modelo de 30.000 millones de parámetros que puede ejecutarse en chips de consumo y datacenter, Nvidia está democratizando el acceso a la transcripción de audio de alta calidad. La estrategia de Nvidia no se limita a la transcripción, sino que abarca la traducción, la atribución de hablantes y el análisis de audio, posicionándose como una solución integral para el sector empresarial y médico. Con la llegada de versiones cuantizadas pronto, se espera que el modelo sea aún más accesible para el uso local, consolidando a Nvidia como un actor clave en la próxima generación de herramientas de voz con inteligencia artificial.
