Noticias que mencionan Kafka

Cómo Flink gestiona los offsets de Kafka en temas transaccionales

El artículo técnico explica el mecanismo interno por el cual Apache Flink gestiona los offsets de consumo en Kafka, destacando una corrección crítica para temas transaccionales. A diferencia de los consumidores estándar, Flink almacena el offset de inicio de cada partición en su estado interno, lo q

Cloudflare reduce el tiempo de DNS y la memoria en un 85% con builds dirigidos

Cloudflare ha implementado un sistema de builds dirigidos que reduce el tiempo de propagación de DNS a la mitad y disminuye el uso de memoria en un 85%, permitiendo manejar zonas con más de 20 millones de registros. A diferencia de las reconstrucciones completas, que leen y procesan todo el conjunto

Diseño de bibliotecas Haskell para importaciones calificadas

El diseño de bibliotecas en Haskell para gestionar importaciones calificadas busca equilibrar la legibilidad del código con la robustez estructural. Este enfoque, ilustrado mediante la librería otel-effectful de IDA, resuelve el problema de los conflictos de nombres entre módulos que exponen identif

Tigris migra tareas asíncronas de FoundationDB a Kafka

Tigris Object Storage ha implementado una migración de sus tareas asíncronas, como la recolección de basura, desde su base de datos principal, FoundationDB, hacia el sistema de colas de mensajes Apache Kafka. Esta decisión responde a limitaciones técnicas y operativas que afectaban al uso de Foundat

Floci: emuladores de nube local para agentes de IA y desarrollo

Floci es una suite de emuladores de nube local que permite ejecutar servicios de AWS, Azure, GCP y Oracle Cloud Infrastructure (OCI) en un entorno aislado sin necesidad de credenciales reales. Diseñado para acelerar el ciclo de desarrollo de agentes de IA y equipos de ingeniería, el sistema ofrece u

DATAMIMIC CE: motor de datos sintéticos deterministas para entornos regulados

DATAMIMIC Community Edition (CE) es un motor de datos sintéticos deterministas, de código abierto bajo licencia MIT, diseñado para generar conjuntos de datos sintéticos y pseudonimizar datos sensibles (PII) sin necesidad de datos de origen. Esta herramienta, disponible en Python y preparada para int

De 85 segundos a milisegundos: optimización de consultas en ClickHouse

Un equipo técnico detalla las optimizaciones aplicadas durante cuatro meses para reducir el tiempo de una consulta crítica de ClickHouse desde 85,7 segundos hasta milisegundos, en un caso real de producción. El escenario parte de una tabla de eventos que alimentan la pantalla principal de un panel d

Moniepoint migra Kafka a Strimzi para optimizar su infraestructura

Celestina Amadi, líder del equipo de Ingeniería Cloud en Moniepoint, describe la migración proactiva de sus instancias de Apache Kafka desde máquinas virtuales gestionadas con Docker Compose a Strimzi sobre Kubernetes. Esta decisión no respondió a una crisis operativa, sino a la identificación tempr

Cómo incident.io eliminó Pub/Sub como punto único de fallo

incident.io procesa cada día alrededor de 240 millones de mensajes a través de más de 800 temas de eventos, por lo que su bróker de mensajería se había convertido en un componente crítico. Hasta ahora la compañía dependía exclusivamente de Google Cloud Pub/Sub, un servicio con un SLA del 99,95 % que

Cómo Netflix construyó su mapa de topología de servicios en tiempo real

Netflix ha detallado la arquitectura y los desafíos de ingeniería detrás de su sistema de mapa de dependencias de servicios en tiempo real, una herramienta pensada para que sus ingenieros diagnostiquen incidencias con mayor rapidez y comprendan el alcance de cualquier fallo en su infraestructura dis

La IA elimina la clase media de la ingeniería de software

La inteligencia artificial generativa está transformando el trabajo de los ingenieros de software al comprimir los plazos de implementación, hasta el punto de que un equipo puede producir en un lunes más código del que antes generaba en semanas. En proyectos con una cultura de ingeniería débil, esta

AT Protocol explicado para ingenieros de sistemas distribuidos

El AT Protocol es una infraestructura abierta para aplicaciones sociales que combina prácticas de sistemas backend de alta escala con técnicas peer-to-peer. El artículo explica su arquitectura paso a paso. Comienza con el esquema clásico de aplicación web: una base de datos SQL detrás de un servidor

Tokio ofrece progreso, no orden: cómo programar un millón de tareas

En servicios escritos en Rust con Tokio, los autores suelen asumir que las tareas lanzadas antes terminarán antes. Esta premisa se rompe cuando se generan ráfagas masivas de tareas cortas, como ocurre en flujos basados en eventos donde cada evento lanza hasta mil tareas para procesar tokens de usuar

Akvorado escala su RIB de BMP mediante particionamiento (sharding)

Akvorado, la herramienta de monitorización de redes que enriquece flujos con información de encaminamiento BGP mediante el protocolo BMP, necesitaba escalar su base de datos de rutas (RIB) para soportar decenas de millones de entradas, dado que la tabla de encaminamiento de Internet supera el millón

Por qué las colas no solucionan la sobrecarga y qué hacer en su lugar

## Por qué las colas no solucionan la sobrecarga y qué hacer en su lugar ### Lead En el mundo del software, cuando un sistema se enfrenta a un pico de tráfico, la respuesta instintiva suele ser la misma: aumentar el tamaño de las colas, añadir un buffer o incorporar un sistema de mensajería como K

Sin fsync: FractalBits logra duplicar rendimiento en almacenamiento

FractalBits desarrolló un motor de almacenamiento clave-valor de un solo nodo que elimina completamente la llamada al sistema fsync del camino de escritura, logrando casi el doble de rendimiento que soluciones tradicionales con fsync. Este artículo explica cómo lo lograron. La llamada fsync es cost

Compresión de datos: ¿por qué es clave para Kafka y más?

Este artículo explora los algoritmos de compresión de datos, motivado por la implementación de un broker de Kafka personalizado (MonKafka). La compresión es crucial para optimizar el almacenamiento y la transmisión de datos, ya que reduce el espacio requerido y el tiempo de procesamiento. Existen do

Stripe compra Metronome: ¿Problemas en su sistema de facturación?

Stripe adquirió Metronome por aproximadamente mil millones de dólares en enero de 2026, una decisión que ha generado preguntas sobre por qué no construyeron esta funcionalidad internamente. La adquisición revela desafíos fundamentales en la arquitectura de Stripe Billing, que fue diseñada en 2018 pa