Este artículo del blog de dystroy.org describe una optimización significativa de memoria en un programa Rust que deserializa archivos JSON complejos. El problema original era que el programa, al procesar archivos JSON que representan estructuras de datos de AWS (Smithy Shapes), consumía una gran cantidad de memoria, específicamente 895 MB. La solución implementada permitió reducir este consumo a la mitad, liberando 475 MB.
La raíz del problema residía en la forma en que Rust maneja las estructuras de datos y, en particular, los tipos Option<String>. En Rust, un Option<String> ocupa 24 bytes, incluso si el string está vacío (None). Esto se debe a que incluye espacio para el puntero al string, el tamaño asignado y la capacidad. Cuando se combinan múltiples Option<String> dentro de estructuras anidadas, el consumo de memoria se multiplica rápidamente. A diferencia de lenguajes como Java o Python, donde un campo null en una clase ocupa solo un puntero, Rust no ofrece esta optimización por defecto.
La solución implementada involucró dos estrategias clave: primero, identificar estructuras que eran esencialmente vacías (donde todos los campos Option<String> eran None). Segundo, mover estas estructuras vacías a la pila (heap) utilizando Option<Box<...>>. Al usar Box<...>, se evita la sobrecarga de memoria de la estructura en sí misma, ya que solo se almacena un puntero a la estructura en la pila. Esto permite que el compilador Rust aplique una optimización especial, donde Option<Box<...>> ocupa el mismo espacio que un Box<...> cuando el contenido es None.
Para lograr esto, se implementó un deserializador personalizado que verifica si una estructura es vacía durante el proceso de deserialización. Si es así, se omite y no se asigna memoria. Esto requiere un análisis cuidadoso de la estructura de datos JSON y la implementación de lógica específica para cada caso. El artículo proporciona un ejemplo concreto de cómo se modificó la estructura SmithyReference para incorporar esta optimización.
En resumen, esta optimización demuestra cómo una comprensión profunda de la gestión de memoria en Rust, combinada con un análisis cuidadoso de los datos, puede conducir a mejoras significativas en el rendimiento y la eficiencia de los programas.