Un desarrollador entrenó un transformer de 125 millones de parámetros capaz de autocompletar interpretaciones de piano en tiempo real, a unas 108 notas por segundo en un iPhone 15. La aplicación, llamada RollTab, se conecta a un teclado MIDI y está disponible gratis en la App Store. Tras catorce experimentos, las mayores mejoras no vinieron de aumentar el tamaño del modelo, sino de tres decisiones clave: elegir una representación MIDI adecuada, limpiar de forma agresiva los datos de entrenamiento y aplicar DPO como post-entrenamiento.
El autor probó varias formas de tokenizar la música. La representación final codifica cada nota como un solo token con cinco campos categóricos (tipo de evento, pitch, delta de onset, duración y velocidad), sumados en una única embedding. Esto evita la deriva típica de los esquemas con eventos NOTE_ON/NOTE_OFF y permite al transformer avanzar la música una nota completa por paso autorregresivo, en lugar de cuatro. El sustain del pedal se hornea en la duración de la nota durante el preprocesado, lo que simplifica el problema de modelado.
El conjunto de datos final contiene varios cientos de miles de archivos MIDI de dominio público, principalmente música clásica antigua, con unos 300 millones de eventos de nota. Escalar el dataset cinco veces empeoró los resultados: la limpieza y selección de datos importó más que añadir más ejemplos. El entrenamiento usa cross-entropía sobre cinco cabeceras de salida independientes, lo que permite monitorizar por separado la precisión de pitch, duración y velocidad. La limitación principal es que la continuación musical no tiene una única respuesta correcta, por lo que la cross-entropía mide bien la mecánica musical pero no tanto la calidad perceptual de una continuación completa. El autor recurrió a aumentaciones (transposición global, escalado de tempo, jitter de duración y velocidad, y eliminación de notas del prompt) para robustecer el modelo frente a entradas reales de un humano tocando.