Superfluid es un demonio de servicio unificado diseñado para la inferencia local de modelos de lenguaje de gran escala (LLM), capaz de gestionar múltiples agentes y máquinas mediante una única interfaz de API. La herramienta centraliza el control sobre llama.cpp, MLX y baseRT, permitiendo que varios agentes comparten recursos sin interferencias mutuas. Su arquitectura garantiza la durabilidad de las sesiones mediante un registro de escritura previa, lo que permite recuperar el estado de las conversaciones si un trabajador o el servidor se reinicia. Además, optimiza el rendimiento mediante la precompletura de prompts compartidos, reduciendo significativamente el tiempo de respuesta en escenarios de alta concurrencia.
En pruebas realizadas en un Apple M5 Pro con el modelo Qwen3.8-27B, Superfluid logró responder consultas de chat en 0,25 segundos, frente a los 67 segundos de llama-server y 64 segundos de Ollama. La herramienta soporta clientes de OpenAI, Anthropic y Ollama sin modificaciones, y ofrece una capa de seguridad que no requiere claves por defecto, aunque permite su configuración para redes. El proyecto está construido por Base Compute y se distribuye bajo la licencia Apache-2.0. Su diseño modular permite la adición de nuevos motores de inferencia mediante adaptadores, manteniendo una carga de servicio nula sobre los runtimes subyacentes. La documentación técnica detalla las integraciones con agentes de codificación y la distribución en redes locales.