El repositorio vllm-sm70 proporciona una pila de producción para ejecutar modelos de lenguaje en tarjetas NVIDIA V100 (arquitectura sm_70). Su objetivo principal es resolver las limitaciones de rendimiento del vLLM original en hardware Volta, que suelen resultar en contextos cortos o tiempos de inferencia lentos para modelos híbridos como Qwen3.8-27B. La solución utiliza un fork específico de vLLM, una librería de kernels de Volta y una capa de integración que permite procesar un contexto de 262,144 tokens con un caché KV de 8 bits (int8) en dos tarjetas de 32 GB.
El sistema soporta el modelo Qwen3.8-22B (GPTQ-Int8) y el modelo de decisión Clef de Cloudflare, ambos cargados en la misma memoria. Las métricas de rendimiento indican una velocidad de decodificación de 55.8 tokens por segundo en texto natural para un contexto de 250K, con un tiempo de prefill de 186.8 segundos para 250K tokens. La arquitectura incluye kernels de atención basados en CUTLASS, operaciones GEMM cuantizadas y un mecanismo de especulación nativo (MTP head) para mejorar la latencia.
La instalación requiere CUDA 12.8, Python 3.12 y un entorno de desarrollo específico que compila los kernels JIT. El sistema está diseñado para producción, con soporte para API compatible con OpenAI y endpoints específicos para decisiones de negocio. La documentación detalla la configuración de memoria, la compilación de dependencias y los scripts de despliegue, asegurando la estabilidad en entornos de alto tráfico.