llm-gateway es un gateway de inferencia para modelos de lenguaje grandes (LLM) diseñado para ser agnóstico al motor de inferencia subyacente. Su objetivo principal es resolver las limitaciones de los routers existentes, que suelen depender de aproximaciones parciales del estado de la caché (KV-cache) y del tráfico, lo que genera vistas inconsistentes en clústeres. Este proyecto ofrece una solución unificada que combina un enrutador proxy con políticas de descubrimiento, salud y trazabilidad, junto con una capa de estado compartida para garantizar una vista coherente del estado entre todas las réplicas.
El sistema se compone de tres componentes principales: el enrutador (llm-gateway), un plugin opcional para vLLM y un servicio de estado compartido (stated) que actúa como interfaz para Redis. En modo de instancia única, el router opera con estado en memoria, eliminando la necesidad de infraestructura adicional. En entornos de clúster, el servicio de estado gestiona el plano de estado y el índice de prefijos, permitiendo que los routers y los plugins accedan a la información de carga y caché de forma consistente. El proyecto incluye políticas de enrutamiento avanzadas como round_robin, power_of_two, consistent_hash y cache_aware, esta última minimizando el tiempo hasta el primer token (TTFT) considerando la carga y el ahorro de caché. Además, soporta integración con OpenAI y Anthropic, y ofrece trazabilidad mediante OTLP/W3C. El código está escrito en Go y Python, y el proyecto está bajo licencia Apache-2.0, proporcionando una infraestructura robusta para operadores que buscan optimizar la latencia y la fidelidad en la inferencia de LLM.