La latencia de la memoria es el principal cuello de botella para el rendimiento de las bases de datos, incluso cuando el procesador parece saturado al 100%. Aunque las CPUs modernas pueden ejecutar entre 4 y 8 instrucciones por nanosegundo, el acceso a la RAM principal tarda entre 50 y 100 nanosegundos, lo que significa que la CPU puede procesar entre 400 y 800 instrucciones por cada acceso a memoria externa. Para mitigar esto, los sistemas utilizan cachés de CPU, donde la caché L1 es aproximadamente 50 a 100 veces más rápida que la RAM, aunque su capacidad es limitada (alrededor de 64 KB). En las operaciones de agregación como GROUP BY, el uso de una tabla hash que crece sin límites provoca que la mayoría de las consultas resulten en 'hits' fríos, forzando el acceso a la RAM y generando cuellos de botella. Un estudio técnico realizado en un servidor AMD EPYC 9124 Genoa demostró que una implementación naive de GROUP BY en un motor de bases de datos consume el 50,1% del tiempo de la CPU esperando por la memoria, mientras que solo el 16,1% se dedica a ejecutar microoperaciones. El análisis reveló que se transfirieron 4,5 GB de datos desde la DRAM durante la consulta, sin prefetching. Para mejorar la eficiencia, se propone el uso de particionamiento por radix, que divide los datos en 4096 particiones pre-cargadas en la memoria. Esta técnica permite que los datos se procesen localmente en las cachés de CPU, reduciendo drásticamente la dependencia de la memoria externa y optimizando el uso del ancho de banda de la CPU.
