El modelo Underdog-Saluki-27B-1.0, desarrollado por ConwayResearch, es una versión optimizada del modelo Qwen3.8-27B diseñada para ejecutarse eficientemente en hardware con menos de 8 GB de RAM. Su objetivo principal es mantener la integridad de las llamadas a herramientas (tool calling) y el razonamiento, ofreciendo una alternativa más ligera a los modelos de 54 GB. El archivo principal, Underdog-Saluki-27B-1.0-IQ2-mix.gguf, ocupa 7,89 GB y está compatible con el motor llama.cpp estándar, mientras que incluye un módulo de visión opcional de 928 MB para el procesamiento de imágenes.
La documentación detalla múltiples métodos de despliegue, incluyendo el uso de Google Colab, Kaggle, Docker y aplicaciones locales como llama.cpp, vLLM, Ollama y Pi. Para el despliegue local, se recomienda instalar llama.cpp y ejecutar el servidor con la configuración específica para habilitar el plantilla de chat de Qwen3.8, lo que permite gestionar el razonamiento y las llamadas a herramientas. Los parámetros de inferencia por defecto incluyen un temperatura de 0.6 y un top_p de 0.95, aunque se puede desactivar el razonamiento para optimizar la velocidad en tareas que requieren llamadas directas a herramientas. El modelo soporta tanto texto como imágenes, y la documentación proporciona ejemplos de código para integrar la API compatible con OpenAI en diversos entornos de desarrollo.
