Materialize optimiza su almacene de metadatos para evitar cuellos de botella

Fuentes: Materialize optimizes metadata store to prevent bottlenecks

Materialize ha reestructurado su capa de almacenamiento, persist, para resolver un fallo crítico en sus despliegues autoadministrados. El problema surgió en junio cuando un incidente de latencia en el almacene de metadatos, basado en PostgreSQL, elevó los tiempos de respuesta de milisegundos a treinta segundos. Este colapso, descrito como un fallo metastable, se debió a que las consultas bajo la aislamiento SERIALIZABLE generaban cientos de miles de bloqueos SIRead, creando un cuello de botella sostenido que impidió la recuperación del sistema.

El equipo de ingeniería de Materialize diseñó una nueva implementación que permite construir un registro linealizable utilizando la aislamiento READ COMMITTED. A diferencia de la solución anterior, este nuevo diseño soporta tres veces más throughput de escritura y degrada de forma elegante cuando la carga supera la capacidad de la base de datos. La corrección de la lógica se validó mediante el modelado del comportamiento de READ COMMITTED en Lean 4, demostrando que el diseño es linealizable.

El sistema organiza los objetos duraderos en 'shards', donde el almacene de metadatos gestiona el estado mediante un registro de diferencias de estado versionado. Para garantizar la consistencia, se emplea una operación compare-and-set (CaS) que asegura que solo un proceso extienda el registro en cada número de secuencia. La transición a READ COMMITTED requiere ajustar las consultas para evitar inconsistencias en las verificaciones de unicidad, permitiendo así una mayor concurrencia sin sacrificar la integridad de los datos.