Muchos usuarios instalan un modelo de lenguaje local, a menudo en una versión cuantizada, y comprueban decepcionados que rinde peor de lo prometido en los benchmarks originales. Esta brecha se explica porque cada combinación de hardware y software introduce pequeñas variaciones que alteran los cálculos del modelo, incluso con los mismos pesos.
El artículo describe una serie de experimentos técnicos con Qwen3.6-27B ejecutado en una GPU RTX PRO 6000 Blackwell, usando vLLM en FP16 sin cuantización de pesos ni de caché KV. La prueba de carga reproduce un contexto real de unos 100.000 tokens con llamadas a herramientas, tomado de un flujo de trabajo real y ausente de cualquier benchmark público, lo que descarta optimizaciones específicas.
En el primer experimento se comparan los tres backends de atención disponibles en vLLM para las capas de atención completa —FlashAttention 2, Flash Inference y Triton Attention— manteniendo fijo el resto de la pila. Capturando los logits de vocabulario completo cada 32 tokens y comparándolos con Triton como referencia, se mide el porcentaje de posiciones donde el token elegido por argmax difiere: en los primeros miles de tokens todos coinciden, pero en zonas posteriores del prompt aparecen divergencias crecientes. Se incluye también un control de repetibilidad ejecutando el mismo backend varias veces para aislar el ruido.
El texto recuerda que los benchmarks sintéticos no representan tareas agenticas reales, recomienda usar los ajustes de muestreo indicados en la tarjeta del modelo y advierte sobre las cifras de divergencia KL infladas en tarjetas de modelos cuantizados cuando no detallan metodología. Las siguientes entregas analizarán el impacto de la cuantización y la ramificación real del texto generado.