KORE es un nuevo formato de archivo binario de alto rendimiento diseñado para cargas de trabajo analíticas, que cuenta con una relación de compresión del 38%—significativamente mejor que el 63% de Parquet—y una aceleración de la consulta de 131x a través de la poda de columnas y el filtrado descendente. También ofrece verificación de pérdida de datos cero, probada en más de 400.000 celdas, e integración nativa con Spark a través de PySpark. Actualmente en v0.1.0, KORE está disponible como una crate de Rust con enlaces de Python, lo que permite a los usuarios leer, escribir y consultar datos de manera eficiente. El formato tiene como objetivo abordar los cuellos de botella de rendimiento de los big data con su almacenamiento columnar optimizado y optimizaciones de consulta avanzadas.
KORE Desafía a Parquet con Superior Compresión y Velocidad
