Ollaya es una herramienta de código abierto que permite ejecutar modelos de decisión localmente en hardware propio, ofreciendo respuestas calibradas en milisegundos. A diferencia de las APIs en la nube, esta solución procesa las consultas en una sola pasada de inferencia, eliminando la generación token por token. En una RTX 4090, una solicitud de cinco preguntas tarda aproximadamente 10 milisegundos de principio a fin a través de la API HTTP.
El sistema es compatible de forma nativa con la API de TypeSafe, permitiendo que el SDK oficial de Python 0.7.1 funcione sin cambios contra un servidor local. Ollaya sirve las rutas /v1/systemone y /v1/models, manteniendo la forma de solicitud y respuesta del protocolo. Los modelos utilizados son de pesos abiertos, como Laya de Convai Innovations, Decider de Mapika y NLIZero-shot de Moritz Laurer, todos con licencias Apache-2.0 o similares. La herramienta prioriza la privacidad al escuchar en la dirección local 127.0.0.1 por defecto, evitando el envío de datos sensibles a servidores externos. Además, ofrece calibración de probabilidades con un error de calibración (ECE) de 0.081 para Laya, superior a otros modelos de decisión. Está disponible como aplicación de escritorio, línea de comandos y contenedor Docker para macOS, Windows y Linux, soportando GPUs NVIDIA y CPU.