El laboratorio ISTA-DASLab del Instituto de Ciencia y Tecnología de Austria ha publicado un repositorio que ofrece cuantizaciones no uniformes del modelo DeepSeek-V4.1-Flash-1017 utilizando los métodos GSQ y RCO. Este proyecto permite reducir el tamaño de los archivos GGUF manteniendo la precisión de las matrices de pesos, asignando un tipo de cuantización específico a cada tensor según su sensibilidad, en lugar de aplicar un tipo único a todo el modelo.
El modelo base cuenta con 763.200 millones de parámetros y una ventana de contexto de 1 millón de tokens. El repositorio presenta tres versiones disponibles: IQ1_M (1,75 bits por peso), IQ2_XXS (2,00 bits) e IQ2_XS (2,25 bits). La versión IQ2_XXS se destaca como el punto de operación más eficiente, ya que iguala el rendimiento del modelo base en las tres métricas evaluadas (AIME25, GPQA-Diamond y LiveCodeBench v6) sin perder precisión. La versión más pequeña, IQ1_M, sacrifica un 1,2 puntos en la media de tareas a cambio de 17,5 GB menos de almacenamiento.
Para ejecutar estos modelos, el proyecto depende de la herramienta Strata, que permite inferencia local en una sola GPU NVIDIA con 12 GB de VRAM, utilizando la memoria del sistema para el resto del modelo. Actualmente, llama.cpp no soporta DeepSeek-V4.1, por lo que la compatibilidad principal es con Strata. Los archivos incluyen el backbone del modelo y las tablas de búsqueda Engram, optimizadas para funcionar en un solo dispositivo sin necesidad de servidores complejos.