PACE: cuantización de estados recurrentes de cuatro bits en modelos de lenguaje

Fuentes: PACE: Four-Bit Recurrent State Quantization for Linear-Attention Models

PACE es un cuantizador de estados recurrentes de cuatro bits diseñado para modelos de lenguaje con atención lineal. Su objetivo principal es optimizar la memoria y el rendimiento durante la inferencia, permitiendo que más secuencias se procesen simultáneamente en un mismo acelerador. A diferencia de los cuantizadores existentes, que redondean el estado después de cada token generado y sufren una pérdida de precisión significativa con solo cuatro bits, PACE redondea el estado únicamente cada pocos tokens. Esta estrategia se alinea con el uso de kernels de prellenado en bloques, manteniendo los tokens intermedios en un pequeño búfer para minimizar el error acumulado.

Además, PACE aprovecha la estructura de los estados de delta de puerta, donde las entradas grandes se concentran en columnas específicas. Al compartir la escala de cuantización dentro de cada columna, se mejora la eficiencia. Los encabezados que retienen el error de redondeo durante más tiempo se mantienen a ocho bits para preservar la precisión. En pruebas con modelos híbridos de 4B a 35B parámetros, PACE con cabezas mixtas de cuatro y ocho bits es competitivo con DAMP de ocho bits en los tres modelos más grandes, consumiendo aproximadamente dos tercios de la memoria. Por otro lado, la versión con cabezas de cuatro bits en todo el modelo supera a Q-Mamba en la misma cantidad de memoria. Este enfoque preserva la velocidad de decodificación obtenida mediante el búfer, ofreciendo una alternativa viable para la optimización de recursos en sistemas de inferencia de alto rendimiento.