llama-sleep es una herramienta de software de código abierto que optimiza la gestión de modelos de lenguaje grandes (LLM) en entornos con una sola GPU, reduciendo el tiempo de cambio entre modelos de 10,3 a 1,7 segundos. A diferencia de los métodos tradicionales que detienen y reinician los procesos, esta solución utiliza la API de checkpointing de NVIDIA para 'apagar' la memoria del modelo en la RAM del host, preservando las prompts en caché y evitando el recálculo de contextos. El sistema funciona como un proxy inverso que retiene las peticiones mientras el modelo se despierta, eliminando la latencia de espera de los checks de salud. En pruebas realizadas con modelos Gemma 4 de 12B y 26B en una RTX 3060, el proceso de carga de pesos se convierte en el cuello de botella principal, limitando la velocidad a 13,4 GB/s. La herramienta, escrita en Go, requiere solo la API de CUDA y no depende de librerías adicionales, permitiendo a los administradores de servidores de IA minimizar el tiempo de inactividad y mejorar la eficiencia energética al gestionar múltiples tareas simultáneas.
