Apache Kafka introduce la capacidad de replicación nativa entre clústeres, eliminando la necesidad de herramientas externas como MirrorMaker 2. Esta nueva funcionalidad, detallada en el KIP-1279, permite a los brokers de destino replicar datos directamente desde los clústeres fuente utilizando el protocolo de fetch estándar, sin procesos adicionales ni traducciones de offsets. El sistema opera de forma integrada dentro del broker, gestionando la transferencia de datos comprimidos byte a byte, lo que preserva la integridad de la compresión original y reduce la sobrecarga de CPU. Además, garantiza la preservación exacta de los offsets y el estado de los grupos de consumidores, facilitando la recuperación ante desastres y la migración de clústeres mediante una única orden de control. La arquitectura se basa en tres componentes principales: el MirrorMetadataManager, que orquesta los cambios en el registro de metadatos; el ClusterMirrorCoordinator, que gestiona la persistencia del estado en un tema interno; y las hilos MirrorFetcherThread, que ejecutan la extracción de datos. Este enfoque unifica la gestión de metadatos, sincronización de configuraciones y propagación de permisos, ofreciendo una solución más robusta y simplificada para la replicación interclúster en entornos distribuidos.
Noticias agregadas con IA