software · 8 menciones
El artículo 'JSON Tiles: Fast Analytics on Semi-Structured Data', publicado en la conferencia SIGMOD '21, presenta una técnica para mejorar el rendimiento de las bases de datos relacionales al procesar datos en formato JSON. A diferencia de los sistemas tradicionales, que sufren lentitud al analizar
Apache Parquet ha integrado la codificación de punto flotante sin pérdidas adaptativa (ALP), una nueva técnica de compresión diseñada para valores decimales almacenados como tipos de punto flotante (FLOAT y DOUBLE). Esta adición ofrece una relación de compresión similar a la del algoritmo zstd, pero
Hardwood, un lector de Parquet en Java, incorpora una ruta rápida para listas de longitud fija que evita el costoso mecanismo de reconstrucción de registros Dremel cuando todas las listas de una página tienen el mismo tamaño. La técnica detecta, examinando las secuencias de niveles de definición y r
Un error inesperado en el pipeline de datos de Shopify, causado por el nombre oficial del país de Moldavia, ha interrumpido temporalmente la replicación de datos a su sistema de análisis. El problema surgió porque el nombre completo de Moldavia, “Moldova, Republic of”, contenía una coma, que al ser
SpiralDB ha anunciado que su sistema de compresión de datos Vortex supera significativamente a Parquet con ZSTD en términos de tamaño y velocidad de descompresión. Vortex utiliza un enfoque inspirado en el trabajo BtrBlocks de la TU Munich, que consiste en probar múltiples codecs de compresión y per
Un nuevo parser de código abierto llamado Hardwood ha sido lanzado para el formato de archivo Apache Parquet. Desarrollado por Gunnar Morling, Hardwood busca ofrecer una alternativa más eficiente y con menos dependencias a la biblioteca `parquet-java` existente, que es ampliamente utilizada pero inc
El proyecto Apache Arrow celebra su décimo aniversario el 5 de febrero de 2026. Iniciado en 2016 como un esfuerzo conjunto para estandarizar el intercambio eficiente de datos columnares entre diferentes bibliotecas y sistemas, Arrow complementa a Apache Parquet al proporcionar un formato en memoria.
Un nuevo formato de archivo y tabla llamado Lance ha surgido como una alternativa optimizada a Apache Iceberg y Delta Lake, generando interés en el mundo del big data y el almacenamiento de objetos. Desarrollado en 2025, Lance combina un formato de archivo similar a Parquet (optimizado para lecturas