Cloudflare detalla en su blog de ingeniería cómo sirve modelos abiertos de gran tamaño —Kimi K2.6 de Moonshot y GLM 5.2 de Z.ai— en su plataforma Workers AI, sobre GPUs H200 en sus centros de datos, sin renunciar a precisión. El artículo explica tres técnicas que se apoyan en separar las fases de prefill y decode: cuantización de la caché KV a FP8, compresión de los pesos del modelo a INT4 y verificación de integridad de la caché compartida.
La cuantización de la caché KV a FP8 duplica el contexto residente en memoria —de unos 686.000 a 1,37 millones de tokens en Kimi K2.6— y permite escalar hasta 64 peticiones concurrentes frente a 32 con BF16, con un ligero coste por token pero rentables por el mayor paralelismo. En GLM 5.2, pasar los pesos de FP8 a INT4 reduce el checkpoint de 705 GB a 421 GB (un 40% menos) y baja el consumo por GPU de 88 GB a 52 GB, dejando hueco para alrededor de 1,18 millones de tokens de caché. En decode, GLM gana hasta un 55% de rendimiento con una sola petición concurrente; en prefill, compute-bound, gana FP8.
La tercera pieza es defensiva: al compartir la misma memoria entre cientos de peticiones, Cloudflare etiqueta cada página de la caché KV y aborta la solicitud si la etiqueta no coincide, con un coste inferior al 1% en throughput y latencia p95. Todos los experimentos se han realizado con el framework open-source SGLang, con el que Cloudflare colabora contribuyendo parches upstream.