Quantpicker es una herramienta de línea de comandos diseñada para determinar la cuantización óptima de modelos de lenguaje en formato GGUF para ejecutarlos en hardware gráfico (GPU). A diferencia de las recomendaciones genéricas, esta herramienta realiza pruebas empíricas en la GPU del usuario, descargando cada versión de cuantización disponible, midiendo su velocidad de generación y comparando la calidad de salida con la referencia Q8_0 mediante el test de divergencia de KL de llama.cpp.
El objetivo es identificar la cuantización más rápida que mantenga una calidad aceptable, evitando estimaciones teóricas. La herramienta analiza métricas clave como la divergencia media de KL, la divergencia del 99% (para detectar errores en tokens difíciles), la frecuencia de tokens idénticos a la referencia y el cambio en la perplexidad. En un ejemplo con el modelo Qwen3-8B en una RTX 5090, la herramienta identificó IQ4_XS como la opción superior: ofrece una velocidad de generación de 264 tokens por segundo, un 11% más rápida que Q4_K_M, con una pérdida de calidad mínima (divergencia media de 0.0371).
Quantpicker simplifica el proceso mediante un solo comando. Detecta automáticamente la GPU, descarga la versión de llama.cpp compatible (CUDA, Vulkan, Metal o CPU), utiliza el texto de prueba wikitext-2 y elimina los modelos descargados tras la medición, requiriendo solo espacio en disco para dos cuantizaciones simultáneas. La instalación es sencilla mediante pip, uvx, o binarios precompilados para Windows, Linux y macOS. Además, permite buscar repositorios en Hugging Face, listar las opciones disponibles para un modelo específico y filtrar por memoria VRAM disponible, facilitando la selección técnica para usuarios de hardware limitado.
