Talus es un motor de inferencia para modelos de lenguaje grandes (LLM) escrito en Rust, diseñado específicamente para la GPU AMD Strix Halo (gfx1151) de la serie Ryzen AI Max+. A diferencia de otras herramientas, Talus permite ejecutar cinco modelos de pesos abiertos en una sola máquina con 128 GB de memoria unificada, ofreciendo una API HTTP compatible con OpenAI para su integración en agentes de código y chatbots.
El proyecto se basa en un fork de Strata, portando el host y el servidor a Rust y añadiendo kernels HIP optimizados para la arquitectura gfx1151. Las pruebas realizadas en un portátil HP ZBook Ultra G1a (Ryzen AI Max+ 395, 70 W) muestran que Talus supera a llama.cpp y gufo en varios modelos, como Qwen3.8-27B (59.9 tokens/s en código) y Qwen3.8-Flash-Next (69.9 tokens/s en código). Los benchmarks incluyen métricas de latencia, uso de memoria y calidad mediante puertas de control de calidad estrictas.
La instalación es guiada mediante un script que configura el ROCm SDK, Rust y los kernels. El sistema soporta modelos densos y MoE (Mixture of Experts) con decodificación especulativa, incluyendo decodificadores MTP y DFlash. Talus es compatible con la API de OpenAI, Anthropic y llama.cpp, permitiendo el uso de clientes existentes sin modificaciones. El proyecto destaca por su enfoque en la optimización de hardware específico, ofreciendo una alternativa eficiente para usuarios avanzados que requieren alta densidad de modelos en hardware de consumo.