Nexa Bridge es un proyecto de software escrito en Rust que actúa como proxy compatible con la API de OpenAI, permitiendo a usuarios ejecutar modelos de lenguaje locales desde detrás de una red privada (NAT) sin necesidad de abrir puertos en el firewall. La herramienta conecta servidores de modelos como vLLM, Ollama, LM Studio o llama.cpp con la plataforma Nexa Agora, ofreciendo un túnel de salida seguro que mantiene los datos y los modelos en el dispositivo del usuario, garantizando la soberanía de los datos y la residencia en la Unión Europea.
El sistema se despliega mediante una aplicación de escritorio para macOS, Windows y Linux, y a través de un instalador de línea de comandos para servidores Linux. En el modo de servidor, el instalador verifica las integridad de los binarios, detecta el servidor de modelos y configura los servicios como systemd user services, permitiendo la gestión de múltiples modelos y la carga equilibrada entre varios GPUs. La arquitectura incluye mecanismos de failover y balanceo de carga que aseguran la disponibilidad del servicio si un nodo o servidor cae, redirigiendo las peticiones a los nodos disponibles sin interrumpir la conversación.
Además, el proyecto integra nexa-robot, un módulo en fase de pre-1.0 que permite a dispositivos físicos como Arduino UNO Q o robots ROS 2 enviar observaciones por HTTPS a la plataforma, aunque sin capacidad de ejecutar comandos remotos. El proyecto está en desarrollo activo, con la implementación completa del proxy, autenticación y balanceo de carga, aunque la instalación firmada y la matriz de aceptación cruzada siguen siendo las puertas de entrada para las versiones futuras.
