Técnicas para reducir picos de memoria en el entrenamiento de MoE

Fuentes: Techniques to flatten memory peaks in long-context MoE training

El entrenamiento de modelos Mixture-of-Experts (MoE) con contextos largos o lotes grandes falla cuando la asignación de memoria de cualquier componente supera la capacidad de la GPU. Este artículo técnico presenta cuatro estrategias para acotar simultáneamente los picos de memoria de cuatro componentes críticos: el despacho de expertos, la proyección del vocabulario, los límites de verificación de gradientes y el estado del optimizador. A diferencia de los métodos de paralelismo estándar, estas técnicas ajustan la orden y granularidad del movimiento de datos sin alterar la precisión de las pérdidas ni los gradientes. Las estrategias incluyen PipelinedLLEP, que limita la contribución de tokens a cada chunk de despacho; Ring-DTP, que circula activaciones o fragmentos de pesos en anillo; Selective checkpoint offload (SCO), que mantiene en memoria CPU el tensor de vida larga de cada límite de verificación; y OffloadStreamAdamW, que convierte la actualización serial de Adam en un pipeline de buckets. En pruebas comparativas, estas técnicas reducen el pico de despacho de expertos hasta un 59,3 %, el pico de proyección del vocabulario hasta un 86,6 % y aceleran el paso del optimizador descomprimido en 2,05 veces. Al aplicarse a modelos MoE de entre 120B y 667B parámetros, permiten entrenar con una longitud de contexto de 1 millón de tokens, alcanzando una distancia de alcance 8 a 32 veces superior a la de una línea base FSDP2 ajustada, y hasta 10,4 veces más throughput.