Moniepoint migra Kafka a Strimzi para optimizar su infraestructura

Fuentes: Moniepoint migrates Kafka to Strimzi for infrastructure optimization

Celestina Amadi, líder del equipo de Ingeniería Cloud en Moniepoint, describe la migración proactiva de sus instancias de Apache Kafka desde máquinas virtuales gestionadas con Docker Compose a Strimzi sobre Kubernetes. Esta decisión no respondió a una crisis operativa, sino a la identificación temprana de limitaciones escalables y de mantenimiento en el sistema anterior, que requería acceso manual por SSH y presentaba inconsistencias en las versiones y modelos de consenso.

La implementación adopta un clúster dedicado de GKE con aislamiento por namespaces para cada pipeline de datos. El equipo estandarizó la configuración mediante plantillas YAML gestionadas con GitOps (ArgoCD) y creó una imagen personalizada de Kafka Connect que integra conectores Debezium y otros drivers, centralizando el control de versiones. Esta arquitectura elimina la necesidad de intervención manual en servidores, automatiza el ciclo de vida de los brokers a través del operador Strimzi y permite escalar recursos modificando simples valores en archivos de configuración. El resultado es una infraestructura más resiliente, observable mediante herramientas estándar de Kubernetes y alineada con prácticas modernas de ingeniería de sistemas.