12 noticias
Apache Parquet ha integrado la codificación de punto flotante sin pérdidas adaptativa (ALP), una nueva técnica de compresión diseñada para valores decimales almacenados como tipos de punto flotante (FLOAT y DOUBLE). Esta adición ofrece una relación de compresión similar a la del algoritmo zstd, pero
Un experimento reciente evaluó si indicar a los agentes de codificación que utilizasen técnicas concretas de pruebas o verificación —como desarrollo dirigido por pruebas (TDD), métodos formales, fuzzing o pruebas basadas en propiedades— mejoraba la corrección de sus implementaciones. La prueba reuti
bzip3 es una herramienta de compresión de datos que se presenta como sucesora espiritual de BZip2, con el objetivo de superar a su antecesora tanto en ratio de compresión como en velocidad. Como BZip2, está especialmente indicada para comprimir texto o código fuente. Su arquitectura combina varias
La idea de que los lenguajes de programación dinámicos y "densos" —como Clojure o J— son mucho más eficientes en tokens para los grandes modelos de lenguaje (LLMs) de lo que lo son lenguajes estáticos como Rust, C++ o Go lleva años circulando en blogs y respuestas de inteligencia artificial. Sin emb
El tipo std.Io.Writer.Allocating de la biblioteca estándar de Zig reserva el doble de memoria de la necesaria al recibir datos a través de su función drain. El problema está en la forma en que el método calcula el espacio extra: tiene en cuenta el parámetro splat (el número de veces que se repite el
Usenet Archive Toolkit (UAT) es un conjunto de utilidades de código abierto diseñado para procesar diversas fuentes de mensajes de Usenet y convertirlas en un archivo coherente, consultable y operativo sin conexión a internet. El proyecto, alojado en GitHub, ofrece dos modos de uso principales: leer
El proyecto Usenet Archive Toolkit (UAT), disponible en GitHub, ofrece un conjunto de utilidades para convertir distintas fuentes de mensajes de Usenet —servidores NNTP, archivos mbox, maildir, volcados comprimidos en 7z o rastreos de Google Groups— en un archivo único, local y eficiente. Su autor p
Zstandard (Zstd), definido en el RFC 8478 y publicado por primera vez en 2015, es un algoritmo de compresión moderno que ofrece mejor relación de compresión y mayor velocidad que el veterano Zlib/Deflate (RFC 1950 y 1951, de 1995). Su implementación de referencia, de calidad de producción, es de cód
misa77 es un códec de compresión basado en algoritmos LZ orientado al nicho de datos que se escriben una vez y se leen muchas veces. Su objetivo principal es ofrecer una velocidad de descompresión muy alta en un solo hilo, con un uso de memoria constante e independiente del tamaño de la entrada: com
SpiralDB ha anunciado que su sistema de compresión de datos Vortex supera significativamente a Parquet con ZSTD en términos de tamaño y velocidad de descompresión. Vortex utiliza un enfoque inspirado en el trabajo BtrBlocks de la TU Munich, que consiste en probar múltiples codecs de compresión y per
Un nuevo formato de contenedor de datos llamado 6cy está en desarrollo activo, con el objetivo de ofrecer un alto rendimiento para el almacenamiento y la transmisión de datos. Desarrollado por Byte y disponible en GitHub, 6cy se distingue por su diseño centrado en el streaming, la recuperabilidad de
Este artículo explora la matemática detrás de la compresión de datos en sistemas de bases de datos, desentrañando por qué y cómo se utiliza, y cómo afecta el rendimiento. Tradicionalmente, el rendimiento de una base de datos se ve limitado por el ancho de banda de I/O, la potencia de la CPU y la mem