La ley de Goodhart establece que cualquier objetivo medible deja de ser útil cuando las personas optimizan exclusivamente para él. Este fenómeno es evidente en el benchmarking de bases de datos, donde la presión por mejorar los tiempos de ejecución ha llevado a la convergencia de los resultados hacia el cero debido a optimizaciones excesivas, como el uso de caché o el conocimiento previo de la carga de trabajo. El caso del benchmark ClickBench ilustra esta tendencia, especialmente con la integración de herramientas de generación de código por inteligencia artificial. Los modelos de IA pueden identificar micro-optimizaciones específicas de cada consulta, ignorando la generalidad de la solución. Por ejemplo, en ClickBench, se detectó que un motor de consultas optimiza agrupaciones por valor hash en lugar de contenido, eliminando costos de consulta repetidos mediante caché de predicados. Aunque estas mejoras son rápidas, no son plausibles para casos de uso generales. La solución propuesta requiere que los benchmarks sean ad-hoc, prohíban el uso de caché intermedia y permitan flujos de actualización para evitar que los sistemas de solo lectura superen a los transaccionales. Además, es necesario generar nuevas cargas de trabajo periódicamente para evitar el sobreajuste, una estrategia similar a la utilizada en competiciones de machine learning como Kaggle, donde los datos de prueba permanecen ocultos hasta la evaluación final.
