WHIRL es un motor de inferencia para modelos de lenguaje (LLM) escrito en C++ puro y HIP, diseñado específicamente para la GPU AMD Radeon AI PRO R9700 (arquitectura RDNA 4). A diferencia de otras soluciones que dependen de entornos Linux o WSL, WHIRL opera nativamente en Windows 11 de 64 bits, eliminando la necesidad de compiladores de Visual C++ o SDKs de ROCm, lo que simplifica la instalación y mejora el rendimiento directo sobre el hardware.
El sistema se basa en dos pilares técnicos: un decodificador optimizado con kernels personalizados para RDNA 4, incluyendo decodificación especulativa con MTP y n-gramas, y un servidor compatible con la API de OpenAI que utiliza caché de KV multi-nivel (VRAM, RAM fija y SSD) para reducir la latencia en conversaciones largas. WHIRL está diseñado para ser específico en lugar de genérico, ajustando los kernels para arquitecturas seleccionadas como Qwen3.5 (denso) y Qwen3.5-MoE, ofreciendo una optimización cercana al límite de hardware.
En pruebas comparativas contra llama.cpp en la misma GPU, WHIRL superó a su competidor en decodificación especulativa, alcanzando hasta 2.80 veces más tokens por segundo en contextos largos y reduciendo el tiempo de primer token en 4 veces al reutilizar prompts del sistema. El proyecto requiere el controlador AMD Software: Adrenalin Edition 26.8.1 o superior y ofrece modelos cuantizados MXFP4 recomendados para maximizar el rendimiento, siendo una herramienta para desarrolladores que buscan eficiencia en hardware AMD.