El sistema NVL72 de NVIDIA redefine la infraestructura de entrenamiento e inferencia al conectar todos los 72 GPUs de un rack mediante un tejido NVLink unificado, eliminando la dependencia de InfiniBand para la comunicación inter-nodo. Esta arquitectura permite que los GPUs en nodos distintos intercambien datos con un orden de magnitud superior en ancho de banda, resolviendo el cuello de botella de comunicación que limita el rendimiento en cargas de trabajo distribuidas. Sin embargo, maximizar estas ventajas requiere una gestión precisa de la topología, ya que los fallos de hardware y la fragmentación de la capacidad pueden degradar el rendimiento si no se gestiona adecuadamente la localidad del rack.
El artículo detalla cómo las estrategias de paralelismo, como la paralelización por tensores (TP) y por expertos (EP), dependen críticamente de la conectividad NVLink para mantener el rendimiento óptimo. En la inferencia, la paralelización por expertos permite aumentar la memoria de caché KV, mejorando el throughput por GPU hasta 4,4 veces más que en servidores estándar de 8 GPUs. La plataforma SkyPilot se integra en este análisis para ofrecer soluciones de recuperación en el lugar y defragmentación automática, asegurando que los trabajos multi-nodo mantengan su localidad de rack incluso ante fallos de hardware. Este enfoque técnico es esencial para optimizar el uso de recursos en clusters de IA de gran escala, donde la eficiencia de la red determina directamente la viabilidad económica y técnica de los modelos de frontera.