Turbopuffer ha anunciado el inicio de la transición a su nueva versión 3, un cambio fundamental en la arquitectura de almacenamiento que busca superar las limitaciones actuales de su motor de búsqueda vectorial. El objetivo principal es permitir la ejecución de más planes de consulta a mayor escala, optimizando el rendimiento en consultas no vectoriales y reduciendo la amplificación de escritura y almacenamiento.
El sistema, lanzado originalmente como una base de datos vectorial sin servidor, ha evolucionado para soportar búsquedas de texto completo, filtrado por atributos y búsquedas regulares. Sin embargo, la arquitectura de almacenamiento basada en un índice ANN primario ha limitado la eficiencia de estas operaciones adicionales. El nuevo diseño separa el índice ANN de las claves primarias, lo que permite un mejor control sobre el tamaño de los bloques de datos y una vectorización más efectiva en el procesador.
Esta modificación técnica es crucial para empresas que dependen de bases de datos vectoriales para aplicaciones de inteligencia artificial y búsqueda de texto. Al cambiar de un modelo donde el índice ANN era la única clave, Turbopuffer elimina restricciones previas que obligaban a duplicar datos en representaciones multi-vector y limita el tamaño de los bloques de procesamiento. Este ajuste técnico posiciona a la herramienta como una solución más versátil y eficiente para cargas de trabajo que requieren no solo búsquedas vectoriales rápidas, sino también análisis de texto y datos complejos a gran escala.