Dust: método de preentrenamiento de transformers sin retropropagación

Fuentes: Dust: Pretraining Transformers Without Backpropagation

Dust es un algoritmo de optimización de orden cero diseñado para preentrenar modelos de lenguaje basados en arquitecturas de transformers sin utilizar retropropagación. A diferencia de los métodos tradicionales que dependen de la diferenciabilidad y la asignación de crédito analítica, Dust introduce una perturbación de activaciones (node perturbation) de forma independiente en cada token. Este enfoque permite tratar cada token como un miembro virtual de una población, evaluando todos ellos en paralelo durante un solo paso hacia adelante, lo que elimina la necesidad de materializar cada miembro de la población en el espacio de pesos.

El método se basa en la premisa de que, en regímenes de alta capacidad de cómputo, los algoritmos de búsqueda más genéricos pueden superar a los basados en sesgos inductivos como la retropropagación. Dust perturba las activaciones y asigna recompensas según la reducción de la pérdida, promediando estas recompensas ponderadas para estimar el gradiente. Los autores demuestran que, a poblaciones grandes, Dust supera a la retropropagación en múltiples configuraciones y es órdenes de magnitud más eficiente que los métodos de estrategias evolutivas (ES) en el espacio de pesos, como EGGROLL, desde 1 millón de tokens en adelante.

Un hallazgo clave es que los modelos más grandes son más eficientes en población que los más pequeños, lo que sugiere que la sobreparametrización puede ser una ventaja en el entrenamiento. Además, las estimaciones de gradiente de Dust se alinean mejor con las de la retropropagación a medida que crece la población, manteniendo una buena alineación hasta escalas de 1 mil millones de tokens. Esto indica que Dust podría ser una alternativa viable para el entrenamiento de modelos de gran escala en el futuro, ofreciendo una asignación de crédito más flexible y potencialmente mejor generalización.