DeepInfer es un marco de inferencia de alto rendimiento y gran escala, diseñado para soportar los servicios de producción de DeepSeek. Esta versión de código abierto proporciona la infraestructura necesaria para la inferencia en línea, destacando por su optimización de núcleos y su capacidad para manejar cargas de trabajo paralelas de manera eficiente. El framework soporta específicamente el modelo DeepSeek-V4.1-Flash y está diseñado para operar en entornos de producción donde la latencia y el consumo de recursos son críticos.
La arquitectura de DeepInfer se basa en una serie de técnicas avanzadas para acelerar el decodificado. Entre sus características principales se encuentran los núcleos optimizados, como FlashMLA, DeepGEMM y TileKernels, que mejoran el rendimiento del motor de ejecución. Además, implementa mecanismos de verificación con DSpark y programación por confianza, lo que permite acelerar el proceso de decodificación mediante tokens de borrador y estimaciones de confianza. El sistema también incorpora un reproductor limitado de SWA para el decodificador, reduciendo el trabajo de prefill mediante la reproducción de sufixos acotados.
En cuanto a la gestión de la ejecución, DeepInfer utiliza un programador de lotes asíncrono que superpone la planificación de CPU con la ejecución en el dispositivo, permitiendo una mayor eficiencia. El framework garantiza la inferencia invariante por lotes, manteniendo resultados idénticos para diferentes composiciones de lotes, y ofrece muestreo determinista para reproducir salidas idénticas. También soporta salidas estructuradas, permitiendo restringir la generación a esquemas JSON o gramáticas EBNF. El sistema requiere hardware específico, como GPUs NVIDIA SM100 o NPUs Huawei Ascend 950, y depende de CUDA 13 o CANN 9.2 según la plataforma. DeepInfer se distribuye bajo la licencia Apache 2.0 y fue desarrollado originalmente sobre vLLM, con inspiración en SGLang y TensorRT-LLM.