mesh-deck es una herramienta de línea de comandos diseñada para gestionar múltiples servicios de inteligencia artificial en una misma máquina, optimizando el uso de la memoria de las GPUs para evitar el colapso por falta de recursos. A diferencia de los entornos de ejecución tradicionales, mesh-deck no actúa como un daemon ni como un proxy, sino que ejecuta comandos de shell que actúan como servicios, permitiendo integrar modelos de lenguaje, transcripción de voz, generación de texto y embeddings en un solo flujo de trabajo.
El sistema opera mediante un archivo de configuración YAML que define el orden de inicio, los puertos y el consumo de memoria de cada servicio. Su principal ventaja es la planificación previa: antes de iniciar el sistema, el usuario puede ejecutar 'mesh plan' para simular el arranque y detectar qué servicios no caben en la memoria disponible, sugiriendo ajustes en la fracción de uso de la GPU. Esto elimina la necesidad de depurar errores de memoria en tiempo real, que suelen ser difíciles de identificar cuando varios procesos compiten por el mismo recurso.
La herramienta ofrece una interfaz de terminal colorida con barras de memoria y estados en vivo, manteniendo los registros de cada servicio en archivos separados para facilitar el diagnóstico. Además, incluye un comando 'mesh gpu' que identifica qué proceso está ocupando la memoria en cada tarjeta gráfica, ya sea un servicio, un contenedor Docker o el sistema operativo. mesh-deck está diseñado para funcionar en sistemas Unix con GPUs NVIDIA, aunque su arquitectura permite adaptarse a otros motores de IA como llama.cpp o Ollama mediante la configuración de parámetros de memoria específicos. La instalación se realiza mediante pipx o pip, y el proyecto se encuentra en fase de lanzamiento temprano, con soporte actual confirmado en tarjetas RTX 4090.