GPUWorks: plataforma ligera para gestionar aceleradores en la nube

Fuentes: GPUWorks: lightweight platform for managing accelerators in the cloud

GPUWorks es una plataforma de gestión de GPU y Model-as-a-Service (MaaS) de ultra bajo peso, diseñada para simplificar la orquestación de modelos de inteligencia artificial en entornos heterogéneos. Su principal característica es la ligereza: el plano de control y la interfaz web se distribuyen en un solo binario de 40 MB, lo que permite su despliegue rápido en servidores, instancias de nube pública o privada, contenedores y hasta en Macs con una sola commande. La herramienta gestiona automáticamente la memoria requerida por cada modelo, selecciona los aceleradores adecuados y lanza motores de inferencia como vLLM, SGLang o Strata, todo ello a través de un endpoint compatible con la API de OpenAI.

El sistema soporta una amplia variedad de hardware, incluyendo NVIDIA, AMD Instinct, Ryzen AI Max, Huawei Ascend, T-Head PPU, Hygon DCU y Apple Silicon, permitiendo que estos aceleradores funcionen simultáneamente en el mismo clúster. GPUWorks incluye un catálogo de 1,235 especificaciones de lanzamiento para 392 modelos, lo que permite desplegar combinaciones verificadas de modelo y acelerador con un solo clic, eliminando la necesidad de ajustar manualmente las banderas de compilación. Además, la plataforma integra instancias de nube pública (RunPod, CompShare, AutoDL, Vast.ai, Alibaba Cloud) y privada (ZStack Cloud) en un único pool de capacidad, y puede coexistir con clústeres existentes de Kubernetes mediante un manifiesto único, respetando las políticas de uso de dispositivos del clúster original.

La arquitectura incluye funciones avanzadas como la estimación explicativa de la memoria, el uso compartido de GPU entre modelos mediante cuotas de memoria (dGPU) y la gestión de estados de sueño/activación para modelos compatibles. GPUWorks también ofrece capacidades de escalado horizontal, paralelismo de tensor/pipeline y desconexión de prefill/decode, manteniendo un consumo de recursos mínimo: en pruebas, un servidor procesó más de 500 réplicas en 4 minutos y soportó 2,000 solicitudes concurrentes con un pico de 1,6 GB de memoria. El proyecto está diseñado para ser robusto en entornos aislados (air-gapped), permitiendo importar modelos desde archivos locales o servidores HTTP, y ofrece un asistente de IA integrado y soporte para clientes MCP.