Un sistema con ocho GPU NVIDIA RTX PRO 6000 Blackwell (96 GB GDDR7 cada una, 768 GB agregados) y un CPU AMD EPYC 9555 (64 núcleos, 128 hilos, Zen 5) ofrece alternativas de alto paralelismo a un coste muy inferior al de las plataformas HGX B200 o B300 con NVLink. El artículo analiza por qué fragmentar modelos monolíticos de más de 400B parámetros por PCIe Gen 5 introduce demasiada latencia (frente a los 900 GB/s unidireccionales de NVLink 4 y los 1.800 GB/s de NVLink 5) y propone redirigir el hardware a cargas concurrentes.
Las estrategias recomendadas son tres. Primera, servicio aislado por GPU (TP=1, DP=8): modelos densos de tamaño medio como Qwen3.8-27B en FP8 dejan unos 59,4 GB de VRAM útil por tarjeta para caché KV, lo que sostiene hasta 1,15 millones de tokens activos por GPU y unos 9,2 millones en todo el nodo a contexto 4k. Segunda, flotas de microservicios multi-inquilino: cada tarjeta puede albergar entre 24 y 32 endpoints especializados de 8B, o hasta 8 modelos dedicados de 32B. Tercera, ajuste fino de 70B+ fragmentando estados con FSDP o ZeRO-3 y descargando los momentos del optimizador AdamW a la DDR5 del host, lo que permite entrenamiento nativo en un solo nodo, aunque con un cuello de botella compartido entre PCIe y el bus de memoria del EPYC 9555 (~512 GB/s agregados frente a 576-614 GB/s de DDR5).
El texto incluye tablas detalladas de VRAM, contexto y concurrencia para Qwen3.8-27B y Llama-3.3 70B, comparativas de interconexiones y casos de uso como QLoRA de alto rendimiento o RLHF/DPO en un único nodo, junto con advertencias sobre el ancho de banda del host y los requisitos de RAM (hasta 1,15 TB con 12 módulos DIMM de 96 GB).