La empresa Hatchet, dedicada a la creación de sistemas de workflows, se enfrentaba a problemas de escalabilidad en sus bases de datos PostgreSQL al almacenar grandes cantidades de datos JSONB. Inicialmente, utilizaban columnas JSONB y tablas TOAST (The Oversized-Attribute Storage Technique) para gestionar estos datos, pero esto generaba problemas de espacio en disco, lentitud en las operaciones de autovacuum y posibles cuellos de botella al llenar la capacidad del disco. Para solucionar esto, Hatchet implementó lo que denominan 'supertost tables', una solución que combina el almacenamiento en PostgreSQL para datos recientes y el 'offloading' a Amazon S3 para datos más antiguos. Este proceso implica la creación de tablas particionadas por fecha y la consolidación de payloads en archivos S3 más grandes para reducir el número de peticiones y optimizar los costos. La arquitectura 'write-and-swap' permite una replicación de datos eficiente y una gestión optimizada del almacenamiento, resolviendo así los problemas de escalabilidad iniciales.
Noticias agregadas con IA