Guía técnica para ejecutar GLM-5.3 en dos estaciones NVIDIA DGX

Fuentes: Technical guide for running GLM-5.3 across two NVIDIA DGX stations

Este tutorial técnico detalla el procedimiento para desplegar el modelo de lenguaje GLM-5.3 NVFP4, con 753.000 millones de parámetros, en un entorno local utilizando dos estaciones NVIDIA DGX conectadas mediante RDMA. El objetivo es permitir la inferencia de modelos de frontera que exceden la memoria HBM3e de una sola GPU GB300, aprovechando la paralelización de tensores (TP=2) para distribuir la carga de cómputo entre dos GPUs. El modelo, una versión cuantizada de un modelo de expertos (MoE) de Z.ai, requiere que todos los pesos permanezcan accesibles en la memoria GPU, lo que obliga a utilizar dos nodos para mantener los 464 GB de datos en memoria. El proceso incluye la configuración de la red RDMA, la sincronización de tiempos y la transferencia segura del checkpoint entre las dos estaciones. Se proporciona una guía paso a paso para preparar el entorno, descargar el modelo, configurar la API compatible con OpenAI y medir el rendimiento bajo carga concurrente. Este enfoque es relevante para desarrolladores que buscan optimizar el despliegue de modelos grandes en infraestructura on-premise sin depender de la nube, ofreciendo una base sólida para la evaluación de capacidades de inferencia local de alto rendimiento.