Netflix ha implementado una estrategia de almacenamiento en capas para su plataforma TimeSeries Abstraction, que gestiona petabytes de datos temporales. El objetivo es reducir los costes de infraestructura manteniendo el rendimiento de baja latencia para datos recientes, mientras se migran los datos históricos menos accesibles a almacenamiento de objetos más económico. La solución inicial utilizó Apache Kafka y Flink para transmitir datos a Amazon S3, optimizando los archivos Parquet mediante compacción diaria para mejorar la lectura de rangos. Sin embargo, esta arquitectura introdujo costes adicionales de transferencia de datos y sobrecarga operativa.
Para eliminar estas dependencias, el equipo desarrolló una segunda solución basada en la lectura directa de copias de seguridad de Cassandra en S3. Al marcar los datos como inmutables, el sistema elimina la copia en disco y lee directamente desde el almacenamiento en la nube. Esta implementación, que incluye una nueva estrategia de compacción ReadOnlyCompactionStrat, permite recuperar datos históricos con una latencia p50 de aproximadamente 150 ms y p99 de 500 ms. El enfoque reduce significativamente el huella de EBS de Cassandra y elimina los costes de transferencia de datos, ofreciendo una alternativa más eficiente y operativa para el manejo de datos históricos en entornos de alta escala.