Rivet presenta un motor de almacenamiento SQLite sin disco local con datos fríos en S3

Fuentes: How We Built the First Zero-Disk, S3-Tiered Storage Engine for SQLite - Rivet

Rivet ha presentado un nuevo motor de almacenamiento para SQLite integrado en su plataforma de Actors que, según la compañía, es el primero del sector en operar sin disco local y con descarga automática de datos fríos a almacenamiento de objetos compatible con S3. Cada Actor obtiene una base de datos SQLite aislada; los commits se completan en pocos milisegundos con redundancia triple, los Actors arrancan al instante sin necesidad de restaurar la base y las páginas activas se leen prácticamente a velocidad de memoria in-process.

El artículo detalla las ocho restricciones técnicas que motivaron el desarrollo desde cero: escrituras rápidas y durables, arranque instantáneo sin datos locales, computación sin disco para escalado elástico, posibilidad de autoalojamiento sin dependencias propietarias, ausencia de nuevos componentes con estado, capacidad sin tope por base de datos, soporte para miles de millones de bases por clúster y coste nulo para bases en reposo. Rivet descarta opciones existentes como Litestream, LiteFS, rqlite, dqlite, cr-sqlite, Marmot, Turso/libSQL, SlateDB y mvSQLite por no cumplir alguna de esas condiciones, en particular por depender de discos locales, exigir restauración previa o limitar el tamaño de cada base.

La arquitectura se apoya en la interfaz VFS de SQLite para sustituir el sistema de archivos del host: una caché en memoria con prelectura sirve las páginas calientes en microsegundos, un WAL distribuido garantiza la durabilidad de cada commit aunque se pierda una máquina, y los datos fríos se mueven de forma transparente a S3. El sistema también ofrece recuperación point-in-time para devolver cualquier base a un instante concreto.