El proyecto dsh-local-compute-pool es un plugin para el DeepSeek Harness (DSH) diseñado para resolver las limitaciones de hardware en entornos de inferencia local. Su objetivo principal es agrupar varios puntos finales de inferencia local en un único 'compute pool', permitiendo que los subagentes delegados se distribuyan entre las máquinas disponibles para ejecutar tareas en paralelo. Esta arquitectura aborda tres restricciones fundamentales de los modelos locales: la limitación de memoria (VRAM/RAM), la debilidad de la caché de contexto y la mala gestión de solicitudes paralelas.
El plugin funciona mediante un mecanismo de control de concurrencia por punto final, que limita las solicitudes simultáneas y gestiona las colas de espera. Al asignar cada subagente a una máquina específica, se garantiza la estabilidad del contexto y se evita la sobrecarga de una sola GPU. Por ejemplo, al ejecutar dos subagentes en dos máquinas con tarjetas gráficas distintas, el sistema logra un throughput combinado de aproximadamente 200 tokens por segundo, duplicando la capacidad efectiva sin necesidad de hardware adicional en un solo equipo.
La instalación requiere clonar el repositorio y copiar la carpeta del plugin al directorio de instalación, sin depender de npm ni de pasos de compilación. El sistema utiliza una lista blanca de proveedores para determinar qué tareas pueden utilizar el pool local y permite configurar la concurrencia por máquina. Es importante destacar que el plugin no es un balanceador de carga generalista ni realiza reintentos de red; se integra con el proveedor de LLM ya configurado en llm-pi-ai. Además, no gestiona dispositivos ni estado distribuido, limitándose a la enrutación de subagentes. Esta herramienta es útil para usuarios con múltiples GPUs que buscan mejorar el rendimiento de tareas complejas en modelos locales como Qwen o Strata.