WarpMoE es un motor de inferencia híbrido GPU-CPU diseñado para ejecutar modelos de Mixture-of-Experts (MoE) de escala profunda que exceden la capacidad de memoria de video (VRAM) de una sola tarjeta gráfica. El sistema utiliza una jerarquía de tres niveles: una piscina de VRAM para los expertos activos, memoria DRAM del host para el resto del modelo y almacenamiento en disco para el checkpoint. Esta arquitectura permite gestionar modelos de DeepSeek-V4.1-Flash-1017 con hasta 80 GB de VRAM, alcanzando velocidades de decodificación de 83 a 119 tokens por segundo en una tarjeta A100.
El motor emplea una técnica de enrutamiento sesgada por residencia, que reemplaza expertos no residentes por otros cercanos en puntuación cuando la diferencia de puntuación es inferior a un umbral delta ajustado por capa. Esto reduce el 42% de las transferencias de expertos en el modelo real, mejorando la eficiencia sin sacrificar significativamente la calidad, medida por la divergencia de KL. La implementación incluye decodificación especulativa dentro de grafos CUDA capturados y un servidor compatible con OpenAI que soporta prefill segmentado y admisión por la cola más corta.
Los requisitos técnicos incluyen Linux x86-64 con AVX-512, una GPU NVIDIA (recomendada de 80 GB) y al menos 512 GB de RAM del host. El sistema requiere un compilador C++17 y Python 3.10 para la ejecución JIT. Aunque el proyecto soporta capas de visión y precisión dinámica, estas funciones no están activadas por defecto en la versión actual. La documentación detalla los benchmarks de precisión y latencia, confirmando que el motor mantiene una fidelidad alta (acuerdo top-1 del 90,65%) mientras gestiona cargas de trabajo intensivas en memoria.