Hecate es un servidor de inferencia compatible con la API de OpenAI que permite ejecutar el modelo GLM-5.3 (753B MoE) en una única NVIDIA DGX Station GB300. A diferencia de otras soluciones, Hecate no requiere que el modelo quepa en una sola memoria, sino que distribuye cada capa MoE simultáneamente entre tres componentes: la GPU GB300 (252 GB HBM3e), la GPU RTX PRO 6000 Blackwell (96 GB GDDR7) y el procesador Grace (72 núcleos). Esta arquitectura permite alcanzar velocidades de decodificación de aproximadamente 148 tokens por segundo a concurrencia 1, superando los benchmarks de la versión cuantizada a 3 bits de EXLlamaV3 en divergencia KL.
El proyecto se construye sobre ExLlamaV3 y TabbyAPI, integrando parches y kernels personalizados para aprovechar el hardware específico de cada componente. Entre las optimizaciones clave destacan el uso de la RTX PRO 6000 como coprocesador para expertos populares, el cálculo de expertos menos utilizados en el CPU Grace mediante operaciones NEON int8, y la ejecución de decodificación completa como un solo grafo CUDA para reducir la latencia. Además, se implementa cuantización int4 en la capa de expertos más utilizados y decodificación MLA optimizada. Los resultados muestran una eficiencia superior en contextos largos, manteniendo una divergencia KL baja frente al modelo original BF16, lo que lo posiciona como una herramienta técnica para usuarios avanzados que buscan máxima velocidad en inferencia local sin sacrificar la calidad del modelo.
