El proyecto ClickBench, una suite de benchmarks para ClickHouse, ha eliminado la entrada 'pgrust' de su conjunto de pruebas. Esta decisión se debe a que la implementación original de pgrust utilizaba técnicas que consideraban fraudulentas para medir el rendimiento real, específicamente el uso de kernels manuscritos por consulta y una caché de resultados entre consultas.
La versión v0.4-preview del binario de ClickBench incorporaba un kernel escrito a mano para cada una de las consultas de ClickBench, junto con matchers de planes nombrados tras las preguntas de la prueba. Además, implementaba una caché cruzada de veredictos de filtro que permitía reproducir las respuestas de las ejecuciones anteriores sin tocar los datos, lo que distorsionaba las métricas de rendimiento. Por ejemplo, consultas triviales como 'SELECT MIN(URL) FROM hits' eran rechazadas con un error si intentaban perturbarse, ya que el sistema dependía de estas optimizaciones artificiales.
Esta modificación busca garantizar que las pruebas midan el comportamiento del motor de bases de datos bajo condiciones de carga real, sin ventajas de rendimiento artificiales derivadas de la estructura de la prueba o de la caché de resultados. El cambio es técnico y directo, eliminando la dependencia de estas optimizaciones para obtener una evaluación más precisa y comparable del rendimiento de ClickHouse.