Respan, una startup seleccionada por Y Combinator en su cohorte de invierno de 2024, ha presentado Respan Gateway, una pasarela de inteligencia artificial de código abierto escrita en Rust. A diferencia de las soluciones tradicionales que empaquetan múltiples proveedores en un único endpoint, este gateway adopta una arquitectura desacoplada donde cada componente, incluyendo proveedores de LLM, protocolos (MCP, voz) y funciones de seguridad, opera como un plugin independiente. El objetivo es permitir que los desarrolladores extendan la infraestructura de IA sin modificar el núcleo central, inspirándose en el modelo de Nginx para garantizar la escalabilidad y la mantenibilidad.
El proyecto surge de la necesidad de Respan de resolver problemas de mantenimiento en su wrapper de LiteLLM, que había superado las 100.000 líneas de código. Al diseñar el gateway desde cero, la empresa busca ofrecer una base sólida que soporta múltiples modalidades, como imágenes y video, y permite la integración de herramientas y protocolos de razonamiento de forma transparente. El sistema traduce automáticamente los formatos de solicitud entre clientes y proveedores, preservando los campos específicos de cada API. Actualmente, el gateway está en fase pre-alpha y es de código abierto bajo licencias MIT o Apache-2.0. Aunque la empresa genera ingresos mediante su plataforma alojada, que ofrece observabilidad y facturación unificada, el objetivo a largo plazo es construir un ecosistema abierto donde la comunidad contribuya con sus propios plugins para mejorar la funcionalidad del núcleo.