IBM ha presentado Granite Switch 4.1, una actualización de su proyecto de modelos de lenguaje que permite ejecutar tareas de chat, toma de decisiones y reconocimiento de voz (ASR) desde un único endpoint de inferencia. La nueva versión integra tres componentes clave: un adaptador de decisiones generalista, un adaptador especializado llamado Guardian que supera a modelos de decisión cerrados en tareas de seguridad, y el modelo Granite-Speech-5.0-Turbo-CTC, que ocupa el primer puesto en la OpenASR Leaderboard por su velocidad.
Los modelos disponibles, de 8B y 30B parámetros, están diseñados para ser eficientes en memoria, consumiendo aproximadamente la misma cantidad de VRAM que el modelo base. Esto permite a los desarrolladores desplegar capacidades más amplias con menos hardware. La arquitectura utiliza adaptadores aLoRA optimizados para el caché, lo que permite reutilizar el KV cache del modelo base, facilitando la transición rápida entre diferentes tipos de solicitudes. IBM destaca que esta solución es más eficiente que modelos de decisión genéricos como Jev, que requieren más recursos para tareas especializadas. La compañía también ha lanzado una demostración en Hugging Face donde el modelo transcribe audio, genera resúmenes y evalúa contenido en tiempo real. Además, se ha mostrado que un modelo personalizado de 3B parámetros puede navegar el videojuego Doom a una velocidad de 60 a 100 decisiones por segundo, superando significativamente a otros sistemas de decisión.