PyTorch reduce el uso de RAM en un 20% con un nuevo solver de memoria

Fuentes: PyTorch cuts peak RAM usage by 20x with new memory solver

PyTorch ha introducido un nuevo solver de memoria, dp_knapsack_sliding_hirschberg, que permite reducir el consumo máximo de RAM durante la planificación de memoria en un factor de 20. Esta mejora se activa mediante la configuración torch._functorch.config.activation_memory_budget_solver=dp_knapsack_sliding_hirschberg. El sistema gestiona la memoria optimizando el grafo de cómputo del modelo de aprendizaje automático, decidiendo qué operaciones almacenar y cuáles recomputar para maximizar el rendimiento dentro de un presupuesto de memoria limitado.

El problema se modela como un problema de la mochila (knapsack), donde cada operación tiene un coste en memoria y un valor en tiempo de ejecución. El solver actual, dp_knapsack, utiliza programación dinámica para encontrar la solución óptima, pero requiere almacenar una tabla bidimensional completa, lo que consume mucha memoria. El nuevo enfoque combina la técnica de ventana deslizante (sliding window) con el algoritmo de Hirschberg. Esta estrategia divide y conquista el problema, eliminando la necesidad de retroceder (backtracking) y permitiendo calcular la solución óptima y las operaciones seleccionadas sin almacenar toda la tabla de programación dinámica. El resultado es una solución exacta, más rápida y significativamente más eficiente en el uso de recursos de memoria.