MACaQ: cuantización agnóstica de modelo para inferencia local y multimodal

Fuentes: MACaQ: Model-agnostic quantization for local inference and multimodal models

MACaQ es una herramienta de cuantización de alto rendimiento diseñada para permitir la inferencia local de modelos de lenguaje, imágenes, video y audio sin necesidad de ajustar parámetros específicos de cada arquitectura. A diferencia de los métodos tradicionales, MACaQ opera de forma agnóstica al modelo, lo que facilita su integración en flujos de trabajo heterogéneos. El proyecto destaca por su capacidad para cuantizar modelos de gran escala, como uno de 122.000 millones de parámetros, en un tiempo de 64 minutos utilizando solo 32,5 GB de memoria de dispositivo, superando en eficiencia a técnicas como MR-GPTQ o DuQuant++.

La herramienta se distribuye a través de múltiples backends optimizados para diferentes frameworks. Para la generación de texto, ofrece soporte para formatos GGUF de 2, 3 y 4 bits mediante llama.cpp, permitiendo la ejecución en CPU o GPU. En el ámbito de la generación multimodal, MACaQ integra con Diffusers para producir imágenes, video y audio, utilizando esquemas de cuantización W4A4 (4 bits para pesos y activaciones) que garantizan alta calidad visual y sonora. Para el despliegue en servidores, el componente vLLM permite la cuantización de modelos híbridos y MoE (Mixture of Experts) con un rendimiento de inferencia superior, manteniendo una perplexidad competitiva frente a la precisión nativa BF16.

Además, la integración con PyTorch permite la generación de audio de alta fidelidad, mientras que los kernels de matmul optimizados para hardware Ascend (CANN) aseguran la compatibilidad con dispositivos específicos de Huawei. El proyecto, licenciado bajo Apache 2.0, incluye guías de instalación y cuantización para modelos específicos como Qwen3, FLUX.2 y Wan2.2, facilitando la adopción por parte de investigadores y desarrolladores que buscan reducir la latencia y el consumo de recursos en aplicaciones de IA generativa.