Cerebrium presenta un sistema de checkpointing que captura el estado completo de un contenedor —memoria CPU, memoria GPU, pesos del modelo y kernels CUDA ya compilados— para restaurarlo en cuestión de segundos en lugar de esperar varios minutos al arranque en frío. La técnica, integrada en su runtime basado en gVisor, puede recortar más de un 80 % el tiempo de puesta en marcha de cargas de trabajo de IA como vLLM.
El problema de fondo es conocido: cada vez que se escala un contenedor, se repiten operaciones deterministas —importar PyTorch, cargar pesos en la GPU, ejecutar torch.compile, capturar grafos CUDA, inicializar cachés KV— cuyo resultado es siempre el mismo. Cerebrium propone hacer ese trabajo costoso una sola vez, congelar el resultado en un snapshot y rehidratarlo a demanda.
La arquitectura añade dos piezas al runtime: un servicio de checkpoint que descarga, sube y cachea snapshots en cada nodo, y un shim modificado de containerd para gVisor que decide, antes de arrancar el contenedor, si debe iniciar desde cero o restaurar desde un snapshot compatible con la imagen, el tipo de GPU y la versión del runtime. El reto principal fue de temporización: hubo que reordenar la secuencia de inicio de containerd para disponer de la información de la imagen en el momento de decidir.
La compañía enmarca esta capacidad como una solución a un cuello de botella creciente para quienes llevan modelos grandes a producción —LLMs, avatares en tiempo real, transcripción o difusión—, donde los arranques de hasta cinco minutos obligan a sobredimensionar capacidad y a mantener GPUs ociosas.