Este artículo técnico detalla la configuración y el rendimiento de un modelo de lenguaje modificado, DeepSeek-V4.1-Flash-1017, desplegado en una infraestructura de cuatro GPUs NVIDIA RTX PRO 6000 Blackwell. El proyecto, alojado en GitHub, utiliza vLLM de Local Inference Lab como motor de inferencia, con pesos en formato FP8 que ocupan 510,3 GB en total. La configuración incluye un pool de memoria KV de 6,5 millones de tokens, permitiendo un contexto de 1 millón de tokens por solicitud, y emplea DSpark para especulación con 3 tokens de borrador por paso.
En términos de rendimiento, el sistema alcanza entre 166 y 211 tokens por segundo en un solo hilo, y hasta 722 tokens por segundo en ocho hilos simultáneos. El tiempo de latencia para el primer token oscila entre 0,26 y 0,33 segundos. La infraestructura se ejecuta en una máquina virtual GCP g4-standard-192, que incluye 192 vCPUs, 720 GB de RAM y 16 discos NVMe locales para almacenar las tablas Engram. El despliegue requiere 16,5 minutos de configuración inicial en una VM fresca, aunque se reduce a 3 minutos con caché de kernel persistente.
El modelo modificado elimina restricciones de seguridad específicas, permitiendo respuestas a solicitudes que el modelo original rechaza, como la resolución de un candado paso a paso. Se comparan cuatro variantes de este modelo, destacando que la versión utilizada tiene la menor divergencia KL en prompts inofensivos. El coste de operación es de 6,34 dólares por hora en instancias spot y 18 dólares por hora en instancias de pago, con una velocidad de descarga de 1,95 GB/s desde Hugging Face.