SpiralDB ha anunciado que su sistema de compresión de datos Vortex supera significativamente a Parquet con ZSTD en términos de tamaño y velocidad de descompresión. Vortex utiliza un enfoque inspirado en el trabajo BtrBlocks de la TU Munich, que consiste en probar múltiples codecs de compresión y permitir que los datos decidan cuál es el más adecuado. En pruebas con el TPC-H a escala 10, Vortex logró archivos un 38% más pequeños y una descompresión 10 a 25 veces más rápida que Parquet+ZSTD, sin utilizar compresión de propósito general. La clave reside en la selección y composición de codecs, evitando el uso de una única capa de compresión como Parquet, que se basa en ZSTD. Vortex emplea un proceso recursivo para encadenar codecs ligeros, cada uno preservando el acceso aleatorio, hasta lograr la máxima compresión. Para optimizar el rendimiento, Vortex utiliza muestreo estratificado para evaluar los codecs, reduciendo el costo computacional. Esta innovación promete mejoras significativas en consultas y materialización tardía de datos.
Noticias agregadas con IA