Specter optimiza la inferencia de MoE en una sola GPU mediante cuantización

Specter es un sistema de inferencia diseñado para acelerar los modelos de mezcla de expertos (MoE) en hardware con una sola GPU. Su objetivo principal es resolver la limitación de memoria de estos modelos, que suelen exceder la capacidad de un solo acelerador, mediante la combinación de la decodificación especulativa cuantizada y el offloading de expertos a la memoria del host. El sistema utiliza un modelo de borrador ligero cuantizado que se ejecuta eficientemente en el dispositivo, preservando los patrones de activación de los expertos con alta fidelidad. Esta aproximación permite un anticipado preciso de múltiples pasos sobre el uso futuro de los expertos, lo que facilita al sistema organizar el movimiento y la ejecución de los expertos antes de la verificación. Al ocultar la latencia de PCIe y mejorar el rendimiento, Specter logra una velocidad media de 1.50 veces mayor (hasta 1.88 veces) en el tiempo por token de salida (TPOT) en comparación con los sistemas de estado del arte. Esta tecnología hace la inferencia de MoE más práctica en hardware de consumo, permitiendo su uso en entornos con restricciones de memoria. El código fuente del proyecto está disponible públicamente en GitHub para su evaluación y replicación.