Janus es una herramienta de software escrita en Go que actúa como un router de API para modelos de inteligencia artificial locales. Su principal característica es la capacidad de ejecutar modelos en formato .gguf directamente en la máquina del usuario, utilizando GPU (vía Vulkan para AMD, Intel y NVIDIA) o CPU, sin necesidad de instalar Python, Docker ni Ollama, aunque soporta Ollama como backend opcional. El proyecto ofrece una interfaz de usuario web integrada y una API compatible con OpenAI, permitiendo a los desarrolladores integrar la inferencia local en flujos de trabajo existentes como Cursor o Cline.
El diseño de Janus se centra en la localización total de la inferencia, donde el motor Go gestiona la ejecución, la enrutación de solicitudes y la ejecución de herramientas. La interfaz web incluye módulos para asistente, chat, kernel (bucle de herramientas), configuración, memoria y habilidades. Entre las funcionalidades destacadas están la ejecución de comandos, la lectura y escritura de archivos, el procesamiento de PDF y la OCR con Tesseract. Una de sus ventajas técnicas es la capacidad de cambiar de modelo sin reiniciar el servicio, simplemente cargando un nuevo archivo .gguf a través de la interfaz.
La instalación requiere Go 1.22 o superior y, en Windows, una GPU con soporte Vulkan. El sistema gestiona el uso de memoria VRAM y ofrece opciones de autenticación básica para endpoints administrativos. Janus está diseñado para ser una solución ligera y autocontenida, eliminando la complejidad de la orquestación de contenedores para usuarios que buscan una alternativa local y privada a los servicios en la nube de IA.