Minions es un sistema de software diseñado para crear una nube virtual de GPU dinámica y distribuida, aprovechando los procesadores gráficos (GPUs) de dispositivos macOS basados en Apple Silicon que permanecen inactivos durante el uso normal. Este enfoque responde a las limitaciones de las infraestructuras centralizadas de GPU, que suelen presentar altos costos, baja elasticidad y tiempos de espera prolongados cuando los recursos están saturados. Al agregar estos recursos ociosos, Minions permite a los equipos ejecutar cargas de trabajo de inferencia de machine learning a gran escala sin necesidad de adquirir hardware adicional específico para GPU.
El sistema ofrece ejecución flexible de tareas de inferencia, tolerancia a fallos y una utilización eficiente de los recursos. Su principal ventaja es la capacidad de transformar dispositivos macOS existentes en una plataforma práctica de inferencia distribuida, especialmente en entornos donde los recursos de GPU centralizados son limitados o costosos. Los autores, Jianhua Li, Yun Xing, Girisha De Silva, Ryan Flint, Kai Yuan y Sean Suchter, presentan este trabajo como una solución viable para aprovechar el hardware existente en la industria de la inteligencia artificial. Aunque el texto principal se centra en la arquitectura de Minions, el contexto de la publicación incluye referencias a otras herramientas como MLX para el desarrollo de LLMs en Apple Silicon y ReDrafter para la aceleración de inferencia en GPUs NVIDIA, destacando la importancia de la eficiencia en la generación de tokens para aplicaciones de producción.