El proyecto MAPLE (Manifold-Activated Pruning of Latent Experts) presenta una técnica de compresión estructural para modelos de lenguaje de mezcla de expertos (MoE) que permite ejecutar modelos de gran escala en hardware de consumo. El objetivo principal es reducir el tamaño de los modelos MoE a menos de 2 bits por parámetro (sub-2-BPW), facilitando su ejecución completa en la memoria VRAM de GPUs de portátil de 6 GB sin necesidad de offloading a la CPU.
El caso de estudio principal es el modelo Gemma 4 26B-A4B, que se comprime de 9,92 GB a 4,75 GB, logrando una tasa de generación de 45,4 tokens por segundo. Esta reducción se logra eliminando 80 expertos inactivos por capa, dejando un conjunto activo de 48 expertos que preserva la capacidad de razonamiento deductivo y la generación de sintaxis. El proceso utiliza un perfilado en vivo mediante llama-imatrix para identificar la frecuencia de activación de cada experto, descartando aquellos con baja energía de activación.
La herramienta incluye un pipeline completo para la calibración, selección de expertos y ensamblaje de contenedores GGUF optimizados. El modelo comprimido está disponible en Hugging Face y permite una ejecución local de alta fidelidad en dominios específicos como programación en Python, síntesis de algoritmos y razonamiento formal STEM. El proyecto destaca por su enfoque en la eficiencia energética y la latencia, superando en 6,5 veces la velocidad de generación y reduciendo la latencia a 22 ms por token en comparación con la versión original.