Cloudflare recorta petabytes de caché al comprimir con Zstandard dentro de Pingora

Fuentes: How we could save petabytes of cache storage with Zstandard and Pingora

Cloudflare ha desarrollado un prototipo llamado Cache Transcoding que permite ampliar la capacidad efectiva de su caché CDN mediante la compresión de activos con el algoritmo Zstandard (zstd) en el proxy Pingora. El sistema codifica las respuestas elegibles a zstd antes de escribirlas en disco y las mantiene comprimidas mientras se mueven entre centros de datos a través de Tiered Cache, decodificándolas solo antes de entregarlas al cliente. En las pruebas iniciales, los activos elegibles se redujeron en promedio a un tercio de su tamaño original en disco, mientras que el coste adicional de CPU en el proxy fue pequeño.

La técnica utiliza zstd nivel 3, que ofrece la mayor parte del beneficio de compresión sin convertir el llenado de caché en un cuello de botella. El análisis del tráfico muestra que las imágenes, vídeos y fuentes ya comprimidos representan el 21,4% de las peticiones pero el 63,3% de los bytes, por lo que recodificarlos sería ineficiente. En cambio, el texto (HTML, JSON, CSS y JavaScript) supone el 67,3% de las peticiones y el 22,3% de los bytes, con cerca del 71% llegando sin compresión y buen potencial de reducción.

En pruebas controladas, los activos elegibles se comprimieron 2,83 veces, con un coste de codificación de 4,31 ns por byte y de decodificación de 1,56 ns por byte. La política implementada transcodifica todo el texto comprimible igual o superior a 4 KiB, capturando casi todo el ahorro medido dentro del presupuesto de CPU.