Fork de Strata permite ejecutar modelos MoE de 35B en GPUs con 8 GB

Fuentes: Strata fork enables running 35B MoE models on 8 GB VRAM GPUs

El proyecto cyber-on-strata es un fork del motor de inferencia Strata, diseñado para ejecutar el modelo Cyber-Tiel-Coder-35B-A3B (Qwen3.5 MoE) en tarjetas gráficas con 8 GB de memoria VRAM. A diferencia del motor original, que no soporta este modelo específico, esta implementación utiliza una arquitectura de inferencia por flujo de expertos (expert-streaming) que mantiene los pesos residenciales en la RAM del sistema y los transfiere a la GPU solo cuando se necesitan. Los expertos que no encajan en la caché de la GPU se calculan localmente mediante un pool de hilos de CPU, optimizando así el uso de recursos en hardware limitado.

En pruebas realizadas con una RTX 4080 SUPER, el sistema alcanza velocidades de decodificación de 57,7 a 63,5 tokens por segundo (tok/s) con una caché de expertos de 4,2 GiB, y hasta 134-136 tok/s cuando el conjunto completo de expertos cabe en la VRAM. El proyecto requiere construir el código desde el repositorio, ya que el motor upstream no soporta este modelo. La documentación técnica detalla la configuración de compilación con CMake y CUDA, así como parámetros de rendimiento específicos para diferentes arquitecturas de GPU, permitiendo a los desarrolladores integrar esta solución en sus flujos de trabajo de inferencia local.