ParadeDB acelera búsquedas en bases de datos relacionales sin denormalizar

Fuentes: ParadeDB enables fast search joins in relational databases without denormalization

ParadeDB ha implementado una solución para ejecutar búsquedas en bases de datos relacionales normalizadas sin necesidad de denormalizar los datos ni depender de motores de búsqueda externos como Elasticsearch. El sistema resuelve el problema de las 'search joins', consultas que unen múltiples tablas para ordenar resultados por relevancia, que tradicionalmente resultaban lentas en Postgres o complejas de gestionar en sistemas distribuidos.

En un benchmark de StackOverflow, ParadeDB logró reducir el tiempo de ejecución de una consulta de búsqueda multi-tabla de 2 minutos a 100 milisegundos, logrando una mejora de hasta 1000 veces en comparación con Postgres estándar. La clave técnica reside en la ejecución de la consulta directamente sobre datos columnares utilizando Apache DataFusion, en lugar de procesar filas individuales a través del ejecutor de Postgres. Al interceptar el plan de la consulta, el sistema empuja el JOIN y el LIMIT a un ejecutor columnar optimizado, que permite acceder a los datos de forma vectorizada y eficiente.

Esta aproximación elimina la necesidad de sacrificar la simplicidad del esquema relacional por el rendimiento, permitiendo que las consultas SQL naturales funcionen de manera eficiente. El sistema mantiene la consistencia transaccional y la visibilidad MVCC de Postgres, pero optimiza el acceso a los datos para que la ejecución de la consulta sea comparable a la de un dataset denormalizado, sin la sobrecarga de infraestructura adicional ni la amplificación de almacenamiento asociada a la denormalización manual.