NVIDIA ha publicado en Hugging Face el modelo Qwen3.8-Flash-Next-FP4-Local, una versión cuantizada del modelo de lenguaje de Alibaba que está optimizada específicamente para hardware de IA local. Este checkpoint ocupa aproximadamente 96 GiB de disco y está diseñado para ejecutarse en GPUs NVIDIA, como la RTX PRO 6000 Blackwell o el sistema DGX Spark, utilizando la arquitectura vLLM para la inferencia.
El modelo se basa en el Qwen3.8-Flash-Next, que incorpora una arquitectura híbrida de atención, Mixture-of-Experts y codificadores de visión. La cuantización se ha realizado mediante el Model Optimizer de NVIDIA con distilación consciente de la cuantización (QAD), logrando una precisión comparable a la de 16 bits (BF16) en benchmarks como GPQA Diamond y ToolEvalBench, con puntuaciones de 91.5% y 88.7% respectivamente. El modelo soporta entradas de texto, imagen y video, con una longitud de contexto nativa de 262K tokens y una extensión máxima de 1 millón de tokens.
Es importante destacar que los factores de escala NVFP4 en este checkpoint utilizan un nuevo formato de compresión sin pérdidas, por lo que la compatibilidad con versiones anteriores de vLLM aún no está disponible. Los usuarios deben emplear los contenedores proporcionados por NVIDIA para garantizar la ejecución correcta. El modelo está disponible para uso comercial o no comercial, sujeto a la NVIDIA Open Model Agreement y la licencia Qwen Community License 1.0. Está dirigido a desarrolladores que buscan desplegar agentes de IA, chatbots y sistemas RAG sin la necesidad de infraestructura en la nube.