Este artículo del blog de vertexclique.com introduce Kovan, una nueva biblioteca de Rust diseñada para abordar un problema crítico en sistemas concurrentes de alto rendimiento: la recolección de memoria wait-free. El problema surge al usar estructuras de datos lock-free, como las proporcionadas por crossbeam-epoch, que son comunes en Rust para lograr alta concurrencia. Aunque eficientes, estas estructuras pueden sufrir de un cuello de botella conocido como el '3am Problem'. Esto ocurre cuando una sola hebra bloqueada en el proceso de recolección de memoria puede impedir que otras hebras liberen memoria, llevando a un crecimiento descontrolado del heap y potencialmente a fallos en producción.
El autor, quien ha construido sistemas de producción a gran escala (Lever y Callysto), explica que la recolección de memoria lock-free, aunque hace progresar el sistema, no garantiza la 'wait-freedom'. La wait-freedom implica que cada operación se completa en un número finito de pasos, independientemente de lo que hagan otras hebras, eliminando el riesgo de inanición y la acumulación ilimitada de memoria. Kovan se inspira en el paper 'Crystalline: Fast and Memory Efficient Wait-Free Reclamation' para implementar una solución wait-free. La clave de Kovan radica en su arquitectura basada en slots, en lugar de estructuras per-hebra, y en el uso de un mecanismo de 'batch retirement' para optimizar la eficiencia.
Kovan ofrece mejoras significativas en rendimiento en comparación con crossbeam-epoch, especialmente en cargas de trabajo con muchas lecturas, donde reduce el tiempo de latencia y evita bloqueos. Además, es compatible con entornos 'no_std', lo que permite su uso en proyectos embebidos. El artículo destaca la construcción de un ecosistema completo de estructuras de datos wait-free basadas en Kovan, incluyendo un HashMap, una cola y canales, cada uno diseñado para probar diferentes aspectos de la wait-freedom. Finalmente, el autor enfatiza la importancia de la verificación formal utilizando TLA+ para garantizar la corrección del algoritmo, creando un modelo que simula el comportamiento del código Rust y verifica propiedades cruciales como la integridad de los tipos, la seguridad de la memoria y la liveness (liberación de memoria). Kovan y su ecosistema buscan proporcionar una base sólida para sistemas concurrentes de alto rendimiento y fiables, especialmente en entornos donde la latencia y la gestión de la memoria son críticas.