Arf es un motor de inferencia de modelos de lenguaje grandes (LLM) escrito en Rust, diseñado específicamente para hardware Apple Silicon. A diferencia de las soluciones comerciales, Arf no utiliza frameworks de aprendizaje automático preexistentes; en su lugar, implementa desde cero las operaciones matriciales, los kernels de Metal, el programador de tareas y el servidor de red. Esta arquitectura permite ejecutar modelos de hasta 27 mil millones de parámetros, como Qwen3.8-27B, directamente en la máquina local del usuario, sin necesidad de tokens de Hugging Face para modelos públicos.
El proyecto destaca por su optimización de rendimiento mediante técnicas como el batching continuo sobre una caché KV pagada y un borrador especulativo entrenado (DFlash-2) para acelerar las solicitudes. Arf está optimizado para agentes de codificación, incorporando una caché de prefijo que retiene las definiciones de herramientas y el prompt del sistema entre sesiones, reduciendo el tiempo de respuesta inicial de 20,3 segundos a 0,6 segundos. Además, soporta entrada multimodal, procesando texto, imágenes, video y audio a través de un codificador de visión en la GPU, con tiempos de inferencia de aproximadamente 0,3 segundos para imágenes de 512x384.
La instalación requiere macOS 15 o superior en Apple Silicon, con macOS 26 para aprovechar las operaciones tensoriales de Metal 4. El sistema gestiona las descargas de forma resumible y verificada por SHA256, almacenando los modelos en la carpeta ~/.arf/models. Arf ofrece una API REST completa compatible con Anthropic, OpenAI y OpenCode, permitiendo a los desarrolladores integrar modelos locales en sus flujos de trabajo existentes sin cambios en la configuración de los clientes.