Optimización de consultas COUNT en ParadeDB mediante partición de segmentos

Fuentes: Optimizing COUNT Queries in ParadeDB via Segment Partitioning

ParadeDB ha implementado optimizaciones avanzadas para acelerar las consultas COUNT y otras operaciones de búsqueda en PostgreSQL, logrando mejoras de hasta 66 veces en comparación con motores de búsqueda tradicionales. El artículo detalla tres estrategias clave: la partición de segmentos basada en identificadores de fila (ctid), la inversión del mapa de DocId y el uso de bitmaps para términos frecuentes. La primera optimización permite saltarse la verificación de visibilidad en segmentos enteros si todas sus páginas están marcadas como visibles, reduciendo las accesos a páginas de 1.382 a solo 30 en pruebas con el dataset de Wikipedia. La segunda técnica invierte el mapeo de DocId a ctid para procesar rangos de documentos en lugar de buscar individualmente, lo que disminuye las accesos a búfer de más de 7.500 a menos de 400 tras actualizar 1.000 filas. Finalmente, el sistema utiliza bitmaps para términos que representan más del 10% de los documentos, evitando el sobrecoste de operaciones de intersección o unión en listas de publicaciones densas. Estas mejoras posicionan a ParadeDB como una alternativa eficiente a Elasticsearch, destacando su capacidad para manejar consultas complejas con filtros y ordenamientos en tiempo real.