Chalk Router: gateway Rust para LLMs con APIs compatibles OpenAI y Anthropic

Fuentes: Chalk Router: Rust LLM gateway with OpenAI and Anthropic compatible APIs

Chalk Router es una implementación de gateway para modelos de lenguaje grandes (LLM) escrita en Rust, diseñada para ofrecer un rendimiento extremadamente rápido y una arquitectura centrada en la funcionalidad. La herramienta actúa como intermediario entre las aplicaciones de inferencia y los proveedores de modelos, exponiendo APIs HTTP compatibles con los formatos de OpenAI y Anthropic, así como interacciones nativas para Gemini. Además, proporciona una API de administración gRPC/gRPC-Web y una interfaz de usuario basada en Next.js para la gestión de claves de API, rutas de modelos, cuotas de uso y telemetría.

El proyecto, disponible como librería y binario llamado openai-server, prioriza la seguridad y la flexibilidad operativa. Los credenciales de los proveedores se almacenan en conexiones específicas y no en variables de entorno del servidor, reduciendo riesgos de exposición. La autenticación es estricta: las claves de administrador requieren JWTs con audiencia fija y verificación de permisos, mientras que las aplicaciones de inferencia deben utilizar claves de API con alcance limitado. El sistema soporta federación opt-in y ofrece múltiples opciones de persistencia, incluyendo bases de datos PostgreSQL o almacenamiento en memoria para desarrollo local.

La documentación técnica detalla la configuración de conectores, el manejo de errores, el caché de prompts y la integración con herramientas de desarrollo como Codex, Claude Code y VS Code. Se incluyen guías para la trazabilidad mediante OpenInference y Braintrust, así como protocolos de despliegue que permiten operar en modo cluster sin migraciones de esquema por entorno. El proyecto está diseñado para desarrolladores que buscan una solución de infraestructura robusta, con énfasis en la seguridad de las credenciales y la capacidad de gestionar múltiples proveedores de modelos de forma unificada.