Del monolito a Lakebase y LTAP: repensar la base de datos desde el almacenamiento

Fuentes: From monolith to Lakebase to LTAP: rethinking the database from storage up

Databricks presenta una arquitectura OLTP que externaliza el almacenamiento del motor de base de datos para superar las limitaciones de los sistemas monolíticos tradicionales como Postgres o MySQL. La propuesta parte de una crítica al modelo clásico, en el que el registro de escritura anticipada (WAL) y los archivos de datos conviven en una misma máquina, lo que provoca pérdida de datos por errores de configuración, caídas de nodo, necesidad de clonar físicamente el disco para escalar lecturas o alta disponibilidad, y competencia por recursos entre cargas transaccionales y analíticas.

Lakebase, una base de datos Postgres serverless desarrollada tras la adquisición de Neon, resuelve estos problemas separando el cómputo del almacenamiento. El WAL se externaliza a un servicio distribuido llamado SafeKeeper, que replica los registros mediante consenso tipo Paxos y elimina la dependencia del flush local. Los archivos de datos se trasladan a un servicio independiente (PageServer). De este modo, las instancias de Postgres se vuelven stateless y pueden arrancarse, detenerse o replicarse bajo demanda.

Sobre esa misma arquitectura se apoya LTAP (Lake Transactional-Analytical Processing), que permite ejecutar transacciones y analítica sobre una única copia de los datos en tiempo real, sin recurrir a CDC ni a sistemas de mirroring. Según Databricks, la combinación de SafeKeeper y PageServer ofrece hasta cinco veces más rendimiento de escritura y la mitad de latencia de lectura frente a configuraciones monolíticas equivalentes, manteniendo las garantías de durabilidad y disponibilidad propias de la replicación síncrona.