LittleBit-2 es una implementación oficial de la técnica de cuantización de modelos de lenguaje de gran escala (LLM) que permite reducir la precisión de los pesos a menos de un bit, manteniendo la arquitectura original intacta durante la inferencia. Desarrollada por Banseok Lee y Youngmin Kim, esta herramienta se basa en la factorización de matrices de pesos densos en factores latentes de bajo rango, binarizando dichos factores y recuperando la información de magnitud mediante escalas aprendidas. El objetivo es lograr una compresión extrema, como la configuración de 0,1 bits por peso, sin sacrificar la funcionalidad del modelo.
A diferencia de la versión anterior, LittleBit (publicada en NeurIPS 2025), LittleBit-2 (publicada en ICML 2026) introduce una mejora crítica en la inicialización: la alineación de la geometría latente. Esto se logra mediante la Rotación Latente Interna con Cuantización Iterativa Conjunta (Joint-ITQ), que alinea los factores latentes derivados del SVD con el hipercubo binario antes del entrenamiento de cuantización (QAT). Esta optimización corrige la desalineación geométrica que limitaba la eficiencia de la versión anterior.
La implementación es compatible con múltiples arquitecturas, incluyendo OPT, Llama, Phi-4, Qwen2.5, Gemma y QwQ. El código requiere Python 3.12 y CUDA, y ofrece una opción de activación (opt-in) para habilitar la inicialización LittleBit-2 mediante el parámetro --use_itq. A diferencia de otras técnicas de cuantización, LittleBit-2 no introduce sobrecarga en la inferencia, ya que solo modifica la inicialización del entrenamiento. La herramienta soporta el entrenamiento con QAT y la cuantización SmoothSign, y está diseñada para ser compatible con frameworks como DeepSpeed para entrenamiento multi-GPU. Los usuarios pueden evaluar los resultados utilizando el código proporcionado, que soporta tareas de predicción de perplejidad y tareas de inferencia de cero-shot.