Este documento técnico detalla el proceso de tuning para la inferencia local de modelos de lenguaje en la GPU AMD Instinct MI50 (gfx906), un dispositivo de 32 GB con refrigeración pasiva. El objetivo principal es maximizar el rendimiento en cargas de trabajo específicas, como nodos de n8n, mediante la migración desde Vulkan a ROCm, la implementación de decodificación especulativa MTP y la optimización de la cuantización de modelos MoE y dense.
El análisis revela que el backend Vulkan (RADV) limitaba severamente el rendimiento, mientras que ROCm/HIP ofrecía un aumento de 8,7 veces en la velocidad de decodificación. Sin embargo, la tarjeta presenta un cuello de botella térmico: tras 60 segundos de carga sostenida, la temperatura de la unión alcanza los 100 °C, lo que provoca un throttling de la frecuencia de reloj. Para evitar esto, se recomienda mantener el parámetro n_max en 3, lo que equilibra la tasa de generación con la aceptación del decodificador especulativo.
En cuanto a la cuantización, los modelos MoE (como Ornith-1.0-35B) superan a los dense en velocidad de prefill y generación, pero la decodificación especulativa MTP resulta negativa en contenido difícil debido a la alta complejidad de verificación en arquitecturas MoE. Se concluye que la cuantización Q4_0 es la opción óptima, ya que Q5 y Q6 no ofrecen mejoras de calidad medibles y solo aumentan el consumo de memoria. El documento sirve como referencia técnica para desarrolladores que buscan configurar sistemas de IA en hardware AMD, destacando la importancia de la gestión térmica y la elección correcta del backend de GPU.