APUS es un runtime de inferencia diseñado para ejecutar modelos de lenguaje de mezcla de expertos (MoE) de gran escala, como GLM-5.2 de 744B parámetros y DeepSeek-V3, en equipos de consumo con 24 GB de RAM. La herramienta permite procesar estos modelos mediante el streaming de bloques de expertos alineados a páginas de 4 KB directamente desde almacenamiento NVMe, evitando la caché de página del sistema operativo para optimizar el rendimiento.
El sistema explota la esparsidad estructural de las arquitecturas MoE, donde solo una fracción de los parámetros totales se activa por token. APUS fija el esqueleto denso en la memoria VRAM/RAM y gestiona los expertos activos mediante un sistema de caché de tres niveles (L1/L2) y un controlador de I/O que prioriza el ancho de banda y protege al sistema operativo de la saturación de entrada/salida. El proyecto incluye un motor de dequantización en tiempo real para INT4 y compatibilidad con APIs de OpenAI y Anthropic.
Técnicamente, APUS se estructura en varios crates de Rust: apus-core gestiona la memoria y la concurrencia; apus-quant maneja la especificación binaria y la calibración de cuantización; apus-io ofrece motores de almacenamiento pluggables con control de QoS; y apus-backends dispatcha capacidades SIMD de CPU y shaders GPU. La interfaz de usuario es un HUD de terminal en tiempo real que muestra métricas de rendimiento y estado del sistema. Esta solución permite a los desarrolladores y entusiastas ejecutar modelos de frontera en hardware limitado sin sacrificar la fluidez de la generación de texto.