La empresa ByteShape ha publicado una serie de tres artículos técnicos en los que propone un marco práctico para evaluar modelos de inteligencia artificial cuantizados de cara a su puesta en producción. El texto parte de una crítica a la forma habitual de comparar estos modelos: mediante una única cifra, ya sea el tamaño, los bits por peso (BPW), la perplejidad, la divergencia KL o los tokens por segundo. Cada una de esas métricas responde a una pregunta válida, pero ninguna resuelve la cuestión clave del despliegue: qué cuantización ejecutar en un hardware concreto.
El primer artículo define el marco y separa las métricas en tres bloques: ajuste (tamaño, BPW y memoria de contexto), calidad (evaluaciones de tareas posteriores al modelo o downstream) y velocidad (tokens por segundo en el hardware objetivo). La calidad downstream se distingue de la fidelidad respecto al modelo de referencia, ya que perplejidad y KL son útiles para detectar degradaciones grandes, pero no para medir si el modelo responde correctamente, sigue instrucciones o genera código funcional.
La segunda entrega presenta pruebas con 14 variantes de métricas de fidelidad sobre modelos cuantizados reales. Los resultados muestran que perplejidad y divergencia KL predicen la calidad en los benchmarks en el conjunto del conjunto, pero esa correlación está impulsada por modelos claramente degradados. Entre los quant que se mantienen cerca del modelo base en BF16, la señal de ranking se diluye: la divergencia KL mide desplazamiento, no la dirección de ese desplazamiento, y por tanto no permite distinguir cuantizaciones situadas cerca de la línea base.
El tercer artículo examina el despliegue y revela que BPW tampoco ordena de forma fiable el rendimiento entre modelos de tamaño parecido. La velocidad real depende del formato de cuantización, las formas de los tensores, los tamaños de grupo, el soporte de kernels, el patrón de acceso a memoria, la arquitectura de CPU y GPU, la carga, la longitud de contexto y el motor de inferencia. Un modelo más pequeño puede ser más lento que uno mayor, y un formato ganador en una GPU puede perder en otro dispositivo. ByteShape concluye que el proxy no equivale al ranking de despliegue, y propone un proceso de selección en tres pasos: filtrar por ajuste, comparar calidad downstream y medir el rendimiento real con el motor y hardware previstos.