LiliuxFlow es una plataforma nativa de servicio y operaciones para modelos de lenguaje local (LLM) diseñada específicamente para hardware Apple Silicon. Su objetivo principal es integrar la inferencia Lily, la gestión de APIs de LiteLLM y el ciclo de vida de modelos de llama-swap en una única pila desplegable, permitiendo a los desarrolladores gestionar el servicio desde sus Macs. La herramienta se distingue por su enfoque en la orquestación de servicios, la protección del ciclo de vida de las solicitudes y la adaptación de protocolos para garantizar la compatibilidad con aplicaciones existentes.
La arquitectura de LiliuxFlow se construye sobre Rust/Metal, Python, Go y PostgreSQL, con un supervisor macOS (LaunchAgent) que supervisa los servicios. El sistema gestiona el acceso a la API mediante claves virtuales de LiteLLM, permitiendo a cada aplicación tener sus propias credenciales y límites de uso. Para la gestión de recursos, llama-swap carga los modelos bajo demanda y los descarga tras un periodo de inactividad, mientras que Lily ejecuta la inferencia. La plataforma ofrece paneles de control multilingües (inglés, chino tradicional, chino simplificado y japonés) y soporta interfaces compatibles con OpenAI Chat Completions o interfaces de chat legadas.
En cuanto a rendimiento, el proyecto ha sido probado en un Mac Studio con Apple M5 Max y 128 GiB de memoria unificada. Los perfiles de contexto disponibles son de 64K, 128K y 262K tokens. Las pruebas indican un rendimiento de prefill de aproximadamente 1.500 tokens por segundo y una velocidad de decodificación de unos 90 tokens por segundo. El repositorio no incluye los pesos de los modelos, que deben descargarse por separado, y requiere un sistema operativo macOS arm64 con al menos 64 GiB de espacio libre para la construcción.