software · 10 menciones
Este artículo explora la matemática detrás de la compresión de datos en sistemas de bases de datos, desentrañando por qué y cómo se utiliza, y cómo afecta el rendimiento. Tradicionalmente, el rendimiento de una base de datos se ve limitado por el ancho de banda de I/O, la potencia de la CPU y la mem
Un nuevo formato de contenedor de datos llamado 6cy está en desarrollo activo, con el objetivo de ofrecer un alto rendimiento para el almacenamiento y la transmisión de datos. Desarrollado por Byte y disponible en GitHub, 6cy se distingue por su diseño centrado en el streaming, la recuperabilidad de
Un nuevo parser de código abierto llamado Hardwood ha sido lanzado para el formato de archivo Apache Parquet. Desarrollado por Gunnar Morling, Hardwood busca ofrecer una alternativa más eficiente y con menos dependencias a la biblioteca `parquet-java` existente, que es ampliamente utilizada pero inc
SpiralDB ha anunciado que su sistema de compresión de datos Vortex supera significativamente a Parquet con ZSTD en términos de tamaño y velocidad de descompresión. Vortex utiliza un enfoque inspirado en el trabajo BtrBlocks de la TU Munich, que consiste en probar múltiples codecs de compresión y per
Este artículo explora el algoritmo de compresión bzip, a menudo pasado por alto en favor de alternativas más populares como zstd o xz, pero que ofrece ventajas significativas en ciertos escenarios, particularmente cuando se trata de comprimir código fuente. El autor, enfrentando la necesidad de redu
Un desarrollador, Michiel Beijen, ha bifurcado la popular biblioteca HTTP para Python `httpx` en un nuevo proyecto llamado `httpxyz`. La decisión surge de una serie de problemas con el desarrollo original de `httpx`, incluyendo la falta de actualizaciones y correcciones de errores desde noviembre de
Un nuevo proyecto de código abierto llamado Turbolite promete acelerar significativamente las consultas de bases de datos SQLite alojadas en la nube. Desarrollado en Rust, Turbolite actúa como una extensión VFS (Virtual File System) que permite realizar búsquedas y uniones directamente desde servici
Este artículo explora los algoritmos de compresión de datos, motivado por la implementación de un broker de Kafka personalizado (MonKafka). La compresión es crucial para optimizar el almacenamiento y la transmisión de datos, ya que reduce el espacio requerido y el tiempo de procesamiento. Existen do
El desarrollador principal de pgBackRest, una solución de respaldo y restauración confiable para PostgreSQL, ha anunciado que dejará de mantener el proyecto. Esta decisión, tomada tras trece años de desarrollo y con el apoyo de numerosos colaboradores, se debe a la dificultad para asegurar la viabil
Se ha publicado 'fc' (floating-point compressor), una nueva herramienta de compresión sin pérdida diseñada específicamente para streams de números en formato IEEE-754 de 64 bits. Desarrollada por Praveen Vaddadi bajo licencia Apache 2.0, la versión actual es fc 1.56. El compresor divide la entrada e
