Qwen3.8-27B en formato GGUF: guía de uso local con llama.cpp, Ollama y Unsloth

Fuentes: Qwen3.8-27B GGUF on Hugging Face: local inference with llama.cpp, Ollama and Unsloth

Unsloth ha publicado en Hugging Face la versión GGUF del modelo Qwen3.8-27B, una variante densa de 27.000 millones de parámetros con comprensión nativa de imágenes y vídeo, control flexible del modo de razonamiento y mejoras en la ejecución autónoma de tareas largas. El repositorio incluye cuantizaciones Dynamic 2.0 —118 elementos en la colección correspondiente— optimizadas para obtener un rendimiento SOTA (estado del arte) en cuantización, e incorpora un avance para ejecutar Qwen3.8 en cuantización de 1 bit dentro del escritorio de Unsloth. El modelo añade compatibilidad con el rol de desarrollador para integrarse en herramientas agentic como Codex y mejoras en la invocación de funciones, en particular al analizar objetos anidados.

La página detalla cómo utilizar el modelo de forma local en distintas plataformas: Google Colab y Kaggle para notebooks; aplicaciones locales como llama.cpp (con servidor compatible con OpenAI o ejecución directa en terminal, mediante instalación por curl, WinGet, binarios precompilados, compilación desde código fuente o Docker), LM Studio, Jan, Ollama, Unsloth Studio (incluido el acceso vía Hugging Face Spaces sin configuración), Pi, OpenClaw, Docker Model Runner, Lemonade, Hermes Agent y Atomic Chat. Cada método incluye los comandos exactos para instalar dependencias, configurar el proveedor y arrancar el modelo con la cuantización UD-Q4_K_XL como referencia.

El modelo se posiciona como el más capaz de la familia Qwen hasta la fecha, construido sobre la base arquitectónica de Qwen3.5, con ganancias sustanciales en programación, trabajo profesional, investigación y tareas agentic de horizonte largo. Entre sus especificaciones figuran tipo de modelo de lenguaje causal con codificador de visión, etapa de preentrenamiento y post-entrenamiento, dimensión oculta de 5120 y embedding de tokens de 248.320 (con padding).