DeepSeek Elastic Compute: infraestructura de sandbox para entrenamiento agéntico

Fuentes: DeepSeek Elastic Compute: Sandbox Infrastructure for Agentic Training at Scale

DeepSeek Elastic Compute (DSec) es una plataforma de infraestructura de sandbox diseñada para facilitar el entrenamiento y evaluación a gran escala de modelos de lenguaje de gran escala (LLM) con capacidades agénticas. A diferencia de los entornos de ejecución aislados tradicionales, DSec opera como una plataforma elástica que gestiona la vida útil de los sandboxes en clústeres distribuidos, coordinando la colocación de recursos y la composición de entornos desde capas de aislamiento independientes.

La arquitectura de DSec integra múltiples backends de sandbox, incluyendo FnCall, contenedores, microVMs y máquinas virtuales completas, a través de un SDK unificado. Su diseño técnico se centra en la eficiencia de memoria y la gestión de recursos mediante el intercambio de memoria, la reutilización de CPU y la programación de procesos. Un componente clave es el uso del sistema de archivos distribuido Fire-Flyer File System (3FS), que permite cargar datos de imágenes bajo demanda, reduciendo la sobrecarga de distribución y mejorando la eficiencia en entornos de alta densidad.

El sistema está co-diseñado con marcos de aprendizaje por refuerzo (RL) para desacoplar la ejecución de rollout de estado con el entrenamiento de GPU preemptible. Esta separación permite preservar el estado de las interacciones agénticas mientras se liberan recursos inactivos, mitigando además comportamientos no deseados como el hacking de recompensas. En producción, una unidad de DSec escala hasta 160 nodos, sirviendo aproximadamente 3 millones de sandboxes diarios. Actualmente, la plataforma soporta más de 380.000 sandboxes concurrentes y mantiene una tasa de creación superior a 5.000 sandboxes por segundo, demostrando su viabilidad para cargas de trabajo intensivas en computación distribuida.