TokenSpeed es un motor de inferencia para modelos de lenguaje de gran escala (LLM) de código abierto, diseñado específicamente para cargas de trabajo agénticas. Su objetivo es ofrecer un rendimiento comparable al de TensorRT-LLM, pero con la usabilidad y la facilidad de desarrollo de vLLM. La arquitectura del proyecto se distingue por separar fundamentalmente el plano de control del plano de ejecución, una decisión que la Fundación PyTorch destacó en su ecosistema.
El plano de control está implementado en C++ como una máquina de estados finitos, lo que permite gestionar el ciclo de vida de las solicitudes y la reutilización segura de la caché KV (Key-Value) en tiempo de compilación, garantizando la corrección. El plano de ejecución, en cambio, está escrito en Python, lo que facilita la iteración rápida y reduce la carga cognitiva para los investigadores. Además, TokenSpeed trata los kernels como un subsistema modular de primer nivel, utilizando una API pública portable y un registro centralizado para gestionar implementaciones de atención multi-cabeza (MLA) en aceleradores como Blackwell.
El proyecto está respaldado por la LightSeek Foundation, una entidad sin fines de lucro, lo que lo posiciona como un recurso neutral en el ecosistema de inferencia. TokenSpeed ha logrado hitos significativos, como alcanzar 580 TPS (tokens por segundo) en modelos de escala 2.4T, y ha sido integrado en plataformas de NVIDIA y AMD para modelos como Kimi K3 y Qwen3.8. Su enfoque modular permite la extensión para aceleradores heterogéneos, consolidándose como una opción técnica robusta para la producción de modelos agénticos.