Slotstream es una herramienta experimental para ejecutar Qwen3.8-Flash-Next en equipos Mac con mucha menos memoria de la que ocupa el modelo. El original, cuantizado a 4 bits, pesa 103,8 GB y se divide en 24 archivos. En lugar de cargarlo por completo, la aplicación almacena en memoria una selección de sus 512 expertos por capa y transmite desde el SSD los que necesita para cada token. Esto evita que macOS recurra a la memoria de intercambio y permite usar el modelo en máquinas que no pueden alojarlo íntegramente.
La medición principal se realizó en un Mac M5 Pro con 48 GB de memoria unificada. Con unos 33 GB asignados al proceso, la herramienta registró una generación cercana a 12 tokens por segundo y un pico de 32 GB. En Mac de 16, 24 y 32 GB, las velocidades previstas son de aproximadamente 5, 8 y 10 tokens por segundo, respectivamente, aunque solo la fila de 48 GB procede de pruebas directas. Para evitar paginación, Slotstream establece un mínimo previsto de 8,1 GB y ofrece el comando doctor para calcular la capacidad necesaria.
El almacenamiento es el principal límite: hacen falta unos 110 GB libres, por lo que el proyecto considera realista un Mac de 512 GB. La descarga única desde Hugging Face tarda alrededor de 35 minutos con una conexión rápida, pero la plataforma limita el rendimiento a unos 36-57 MB/s incluso con hf_xet. El proceso verifica los archivos mediante SHA-256, permite reanudar transferencias interrumpidas y completa la validación en unos diez segundos.
Slotstream se distribuye como un único binario Swift para Apple Silicon y macOS 14 o posterior. Incluye una API compatible con los subconjuntos de chat y generación de Ollama y OpenAI, probada con Open WebUI, la CLI de Ollama y los SDK de OpenAI. Admite streaming, CORS y opciones habituales de muestreo, pero rechaza con un error 400 funciones no implementadas, como herramientas, imágenes o salida con JSON Schema. Su contexto máximo es de 32.768 tokens y la caché de prefijos acelera las conversaciones, aunque puede producir pequeñas variaciones respecto al recálculo completo.