Optimización de GROUP BY en Pivot reduce el 70% de particiones

Fuentes: Pivot GROUP BY optimization prunes 70% of partitions

Pivot ha implementado una optimización para consultas GROUP BY que buscan los K grupos con mayor valor agregado, reduciendo significativamente el consumo de recursos en bases de datos analíticas. El problema surge porque los algoritmos tradicionales procesan todas las particiones de datos, incluso aquellas cuyos resultados no influyen en la respuesta final, lo que genera un gasto computacional innecesario en cargas de trabajo comunes como "quién son los 10 clientes con mayor gasto".

La solución utiliza una estructura basada en Bloom filters para pruebar particiones durante la fase de agregación. En lugar de depender solo del conteo total de una partición, el sistema asigna un número fijo de "slots" a cada grupo. Si el conteo combinado de cada slot es inferior al valor mínimo actual de los K mejores resultados, la partición se descarta por completo. Este método permite una granularidad de prueba independiente del número de particiones, permitiendo ajustar la precisión según la distribución de los datos.

Los resultados en benchmarks públicos, como ClickBench, muestran mejoras sustanciales. En la consulta Q16, la optimización aceleró la ejecución de 35,6 ms a 22,2 ms, un aumento del 1,6 veces, al descartar más del 70% de las particiones. Aunque la optimización no es beneficiosa en distribuciones muy planas, el equipo de Pivot considera que los beneficios serán mayores al integrar capacidades de procesamiento masivo (MPP) y desbordamiento a disco, ya que evitar el procesamiento de particiones enteras reduce drásticamente la latencia y el uso de CPU.