Este proyecto técnico detalla la configuración y optimización de un agente de inferencia local para ejecutar el modelo Qwen3.8-27B en una laptop con RTX 5070 Ti y 12 GB de VRAM. La solución se basa en la combinación de NInfer, KVMem y técnicas de decodificación especulativa (MTP) para maximizar el rendimiento en hardware limitado.
El sistema permite un contexto lógico de 256K tokens, utilizando la memoria RAM como caché para los valores de clave (KV) y optimizando el uso de la memoria gráfica mediante GSQ-RCO IQ3_XXS. Los benchmarks proporcionados indican una velocidad de pre-llenado de aproximadamente 620 tokens por segundo en entradas frías de 110K tokens, con un tiempo de tiempo a la primera token (TTFT) de 1,234 ms. La herramienta incluye un agente de DeepSeek Harness que permite la integración de búsqueda web y navegación de navegador, así como una API compatible con el formato OpenAI para facilitar su integración en flujos de trabajo existentes.
La documentación cubre la instalación en Windows x64, la compilación desde el código fuente y la gestión de dependencias como CUDA 13.0.4 y Node.js 24. El proyecto está diseñado para desarrolladores y entusiastas de la IA que buscan ejecutar modelos de gran escala localmente sin depender de la nube, ofreciendo un enfoque de bajo consumo de recursos y alta eficiencia en inferencia.