Saetta es un motor de inferencia de modelos de lenguaje (LLM) escrito en Zig y Metal, diseñado específicamente para ejecutar Qwen3.8-Flash-Next en hardware Apple Silicon, como el M5 Max. A diferencia de las soluciones genéricas, este proyecto se centra en un único modelo y una única arquitectura, optimizando cada núcleo para maximizar el rendimiento en tareas de programación asistida por IA. La herramienta ofrece una API compatible con OpenAI, lo que permite a agentes como Claude Code, Pi o Opencode conectarse directamente sin necesidad de nube, operando localmente en tiempo real.
El sistema destaca por su eficiencia en el manejo de contextos largos, logrando leer entre 1.650 y 1.950 tokens por segundo y generar respuestas de 63 a 82 tokens por segundo mediante decodificación especulativa. Una de sus características técnicas más notables es la reutilización de estados: si un prompt extiende el anterior, el sistema solo lee los nuevos tokens, reduciendo el tiempo de respuesta en conversaciones prolongadas a menos de 0,2 segundos. Además, incluye un monitor integrado que muestra métricas de GPU, memoria y caché en vivo, similar a btop.
La instalación es sencilla, requiriendo solo macOS 27.2 o superior y Apple Silicon. El instalador verifica la integridad de los archivos y descarga paquetes de modelos de 76 GB (paquete Coder) o 105 GB (paquete completo) desde Hugging Face, verificando hashes SHA-256. Saetta soporta dos variantes del modelo Qwen3.8-Flash-Next, ambas bajo licencia de la comunidad de Qwen. El proyecto está diseñado para desarrolladores que buscan una alternativa local, rápida y de bajo consumo para agentes de código, eliminando la latencia de la nube y garantizando privacidad al procesar el código en el dispositivo local.
