Janas-LLM es una herramienta de código abierto escrita en C que permite ejecutar modelos de lenguaje grandes (LLM) de mezcla de expertos (MoE) en equipos con recursos limitados, como portátiles con 32 GB de RAM. Desarrollada por Maurizio Cammalleri, esta solución destaca por su capacidad de procesar modelos de hasta 80 mil millones de parámetros, como Qwen3-Next-80B, en hardware estándar mediante la gestión eficiente de la memoria y el uso de discos NVMe para el streaming de pesos.
Los benchmarks realizados en un portátil con procesador Intel Core Ultra 9 185H y 32 GB de RAM muestran que Janas-LLM supera a llama.cpp en la mayoría de los modelos comparados. Por ejemplo, en el modelo Qwen3-Next-80B, Janas-LLM alcanzó 62 tokens por segundo al leer un prompt y 24 tokens por segundo al escribir, frente a las 16 y 2.8 respectivamente de llama.cpp. Esta ventaja es notable incluso en modelos densos, donde Janas-LLM logró 939 tokens por segundo en el modelo Qwen3-0.6B, superando a llama.cpp en 670 tokens por segundo.
El sistema opera cargando los pesos en disco y enviándolos a la GPU integrada o CPU solo cuando se requieren para generar tokens, manteniendo el resto en memoria. Aunque el proyecto se encuentra en fase experimental y no está optimizado para todas las arquitecturas de hardware, ofrece una alternativa viable para usuarios que necesitan ejecutar modelos de gran escala sin depender de servidores dedicados.