El equipo Magenta de Google presenta Magenta RealTime 2 (MRT2), un modelo de música generativa de código abierto y un motor de inferencia en tiempo real que permite construir y tocar instrumentos musicales con IA directamente desde un portátil con chip Apple Silicon.
A diferencia de otros modelos generativos de música, que funcionan sin conexión y convierten un prompt en una pista completa, MRT2 es un modelo interactivo en vivo que responde a entradas MIDI, de audio y de texto con baja latencia. El usuario puede ejecutarlo como aplicación independiente, integrarlo en su DAW (estación de trabajo de audio digital) o incorporarlo a otro software musical.
El lanzamiento incluye cuatro componentes principales: el modelo de pesos abiertos con 2.400 millones de parámetros, capaz de síntesis musical de alta calidad; una biblioteca Python de código abierto que ofrece inferencia mediante JAX y MLX usando SequenceLayers; un motor de inferencia escrito en C++ que habilita la generación de audio en streaming sobre la GPU de un MacBook mediante MLX; y una suite de aplicaciones de ejemplo —apps, plugins y extensiones— para músicos y desarrolladores.
La principal mejora frente a la primera versión es la reducción de latencia: MRT2 logra una latencia ~15 veces menor que su predecesor. El tamaño de frame cae de 2 segundos a 40 milisegundos. Para ello, el modelo realiza autorregresión a nivel de frame con condicionamiento alineado, lo que le permite reaccionar a cambios en la señal MIDI o de audio en un único frame. Emplea un mecanismo de atención causal de ventana deslizante para streaming continuo, junto con embeddings de atención entrenables que mejoran la generalización en secuencias largas.
En cuanto a requisitos, el modelo base (2.400 millones de parámetros) exige al menos un MacBook M3 Pro o M2 Max para generación en tiempo real, mientras que el modelo pequeño (230 millones) corre en cualquier MacBook con Apple Silicon, incluido el MacBook Air.
El equipo tiene previsto añadir próximamente funciones de fine-tuning (entrenar el modelo con datos propios) y nuevas herramientas de ejemplo creadas junto a la artista Manaswi Mishra. El grupo presentará además un reto basado en MRT2 en el próximo Music Technology Hackathon de Boston.