llama-sleep reduce el cambio de modelos LLM a 1,7 segundos
llama-sleep es una herramienta de software de código abierto que optimiza la gestión de modelos de lenguaje grandes (LLM) en entornos con una sola GPU, reduciendo el tiempo de cambio entre modelos de 10,3 a 1,7 segundos. A diferencia de los métodos tradicionales que detienen y reinician los procesos
