Wafer ha logrado ejecutar el modelo abierto Kimi K3, de 2,8 billones de parámetros, en un nodo de ocho GPUs AMD MI355X con 288 GB de VRAM cada una, alcanzando 952 tokens por segundo agregados y 118 tok/s en flujo único. El resultado multiplica por 3,8 el rendimiento agregado por nodo y por 1,3 el de su despliegue con 16 B200 de NVIDIA en Tensor Parallel, a un coste por GPU-hora de 2,50 dólares frente a los 4,25 dólares de la B200.
El artículo explica que Kimi K3 no cabe en un nodo B200 estándar y que la ventaja clave del MI355X es su memoria HBM de gran capacidad. Además del throughput bruto, los autores subrayan que la métrica verdaderamente percibida por el usuario es el tiempo hasta el primer token (TTFT): un prefill en frío de 172.000 tokens baja de unos 51 segundos a unos 23 segundos tras activar el kernel AITER MLA, una optimización de ~2-3x conseguida mediante un simple zero-pad de cabezas de atención de 12 a 16, sin necesidad de escribir kernels personalizados.
Otro cuello de botella resuelto fue el decodificado especulativo con el borrador de difusión por bloques Kimi-K3-DSpark, que fallaba en ROCm por una función top_k_renorm_prob no definida en el verificador de muestreo de SGLang; bastó con reimplementarla en PyTorch. Tras las correcciones, el rendimiento de flujo único mejoró 2,2 veces y el agregado un 18 %. Los autores concluyen que el llamado "foso CUDA" se estrecha rápidamente a medida que los agentes automatizan la optimización de kernels.