Los modelos de lenguaje de difusión (DLM) presentan desafíos únicos en la cuantización debido a su proceso iterativo de eliminación de ruido. Un nuevo estudio revela que la sensibilidad a la cuantización varía según la tarea y el paso temporal, con diferentes niveles de precisión requeridos en cada etapa. Los autores demuestran que estos patrones pueden predecirse sin etiquetas de referencia ni métricas de evaluación específicas de la tarea.
Basándose en estos hallazgos, se introduce T2Quant, un marco de cuantización de precisión mixta que utiliza una señal de sensibilidad sin etiquetas para optimizar la asignación de precisión de activación a lo largo de los pasos de denoising, manteniendo un ancho de bits fijo. Los experimentos extensos en tres DLMs y seis benchmarks demuestran que T2Quant mejora consistentemente la precisión promedio de los métodos de cuantización existentes. El marco logra ganancias de hasta 6,7 puntos porcentuales en la precisión media bajo el mismo presupuesto de bits, ofreciendo una solución más eficiente para la implementación de modelos de difusión en entornos con recursos limitados.