Turbopuffer ha reemplazado su sistema interno de colas de trabajos de indexación con una solución de almacenamiento de objetos de archivo único, mejorando significativamente el rendimiento y la escalabilidad. Anteriormente, el sistema utilizaba colas fragmentadas que podían bloquearse por nodos lentos. La nueva implementación utiliza un único archivo en almacenamiento de objetos, gestionado por un broker sin estado, garantizando la ejecución FIFO y una latencia 10 veces menor. El diseño se basa en la simplicidad y la predictibilidad del almacenamiento de objetos, evitando complejas soluciones de bloqueo. Para manejar un alto volumen de solicitudes, se implementó un sistema de 'group commit' que agrupa las escrituras, optimizando el rendimiento. Para eliminar la contención, se introdujo un broker sin estado que gestiona todas las interacciones con el almacenamiento de objetos. Finalmente, se implementaron mecanismos de alta disponibilidad, como brokers redundantes y 'heartbeats' para los trabajos en curso, asegurando la continuidad del servicio incluso en caso de fallos. El resultado es un sistema robusto y escalable construido sobre principios simples y aprovechando las ventajas del almacenamiento de objetos.
Noticias agregadas con IA