Las leyes de escalado clásicas (estilo Chinchilla) indican qué arquitectura entrenar fijando un presupuesto de FLOPs y minimizando la pérdida. Pero los clústeres no facturan FLOPs: facturan horas de GPU. Sheng Zha, junto con Soumajyoti Sarkar y Yuxin Tang, presenta en un nuevo artículo el marco MOSAIC, que integra la etapa de sistemas dentro de la propia ley de escalado: una sola optimización elige arquitectura, presupuesto de tokens y diseño de paralelización para un clúster concreto y una ventana de entrenamiento concreta.
El trabajo se centra en modelos Mixture-of-Experts (MoE), donde la separación entre parámetros activos y totales introduce ejes —escasez de expertos y factor de división— que una ley clásica no contempla. Ajustando la ley conjunta sobre unas 150 ejecuciones de preentrenamiento MoE desde cero (104M–2,7B parámetros activos, hasta 79B totales), los autores obtienen un resultado incómodo: bajo un presupuesto fijo de FLOPs, la pérdida predicha baja monotónicamente con la escasez hasta el borde del espacio calibrado, sin óptimo interior. Es decir, la respuesta en FLOPs dice "tan escaso como tu espacio de búsqueda permita", que no es un principio de diseño sino su ausencia.
Al evaluar la misma rejilla en wall-clock por FLOP entregado, el orden se invierte: a 512 GPUs, el tiempo de entrenamiento crece con la escasez hasta 1,70× respecto a la configuración más densa. El diseño que gana en pérdida por FLOP es el más lento de ejecutar. MOSAIC corrige esto sustituyendo el presupuesto de FLOPs del modelo por FLOPs entregables (techo del clúster × MFU que la candidata alcanza con su mejor layout paralelo × goodput). La selección se convierte en un problema bilevel: el bucle exterior minimiza la pérdida sobre geometrías y presupuestos de tokens realizables; el interior maximiza los FLOPs entregables sobre layouts paralelos. Las superficies de MFU y memoria son lookups medidos, no funciones simbólicas, y se resuelven por enumeración que explota la estructura.
Un ejemplo con cuatro nodos p6-B200 durante cinco días ilustra el efecto: la ley sola empuja la escasez al borde; bajo el constraint del clúster, las configuraciones con escasez >0,96 no entregan los FLOPs que su propia receta exige y son inviables. Reoptimizando con FLOPs entregables, el óptimo se mueve al interior, con una pérdida predicha 0,031 nats menor que la elección del borde. El estimador que hace barato el bucle interior es un modelo de rendimiento a nivel de operador, calibrado con microbenchmarks en el hardware objetivo y con un único término de corrección etiquetado; sobre nodos p6-B200 y modelos de 700M a 18B parámetros activos, su error de MFU predicha se mantiene por debajo del 15% por barrido, y sus conjuntos top-5 y top-10 coinciden con los medidos. El modelo se publica como ScalePlan.
El artículo también muestra cómo el factor de división de expertos reordena las candidatas bajo un techo fijo de hardware: las geometrías más finas caen a ~8% de MFU predicho, mientras que las más gruesas alcanzan 13–20%, por el coste de comunicación de dispatch y combine de expertos sobre el stack Megatron-Core. La candidata que más FLOPs emite no es el mejor modelo: queda en una pérdida predicha mayor que la ganadora, que necesita ~36% menos. El mensaje es directo —ranking por FLOPs emitidos desordena los diseños— y el hallazgo central, ya anticipado por el título, es que lo computacionalmente óptimo no coincide con lo óptimo para el clúster.