DuckDB: Búsqueda vectorial más rápida y eficiente

Fuentes: GitHub - cigrainger/duckdb-hnsw-acorn: ACORN-1 pre-filtered HNSW search for DuckDB

Un desarrollador ha creado una extensión para DuckDB, una base de datos analítica en memoria, que mejora significativamente la búsqueda vectorial de similitud. La extensión aborda dos limitaciones de la versión anterior: la búsqueda filtrada, que a menudo devolvía resultados incompletos, y la falta de compresión vectorial, lo que resultaba en un uso de memoria lineal con las dimensiones. La nueva extensión incorpora ACORN-1 para una búsqueda filtrada más precisa, integrando los predicados de filtro directamente en la travesía del grafo HNSW. Además, utiliza la cuantificación RaBitQ, que comprime los vectores hasta en un 21x, manteniendo la calidad de los resultados gracias a una fase de rescore. La extensión es compatible con las operaciones existentes (consultas, filtros, persistencia) y ofrece configuraciones ajustables para optimizar el equilibrio entre la precisión (recall) y la velocidad de las consultas. La extensión está disponible para su descarga y uso, con documentación y ejemplos para facilitar su implementación y experimentación.