Optimización de Qwen3.8-27B en AMD RX 7900 XTX con exllamav3-rocm

Fuentes: Qwen3.8-27B EXL3 + DFlash2 optimization on AMD RX 7900 XTX

El repositorio elpis-on-7900xtx detalla la implementación técnica para ejecutar el modelo Qwen3.8-27B en una tarjeta AMD RX 7900 XTX utilizando la arquitectura EXL3 4.00bpw y el decodificador especulativo DFlash2. La configuración se basa en el port de exllamav3 a ROCm (AMD), integrando TabbyAPI para la gestión de la API. Los benchmarks comparan el rendimiento de esta configuración contra llama.cpp en la misma tarjeta y contra una implementación CUDA en una RTX 3090. En pruebas de 1024 tokens con respuestas codicadas, el sistema alcanza velocidades de 106.7 tok/s, superando a llama.cpp en un 1.47x en tareas de código con razonamiento activo y hasta 2.1x en tareas de código sin razonamiento. En tareas matemáticas, la mejora es del 1.55x con razonamiento activo. La implementación soporta contextos de hasta 131,072 tokens con cuantización Q8, alcanzando una temperatura de memoria de 95 °C bajo carga sostenida, cerca del umbral de throttling de GDDR6. El sistema incluye scripts de instalación para Ubuntu 24.04, incluyendo la compilación de ROCm 7.2.4 y la configuración de TabbyAPI. La calidad de la salida no se compara explícitamente, pero se documentan los parches necesarios para la compilación y el funcionamiento correcto del decodificador especulativo.