TokenSpeed: motor de inferencia de LLMs de código abierto
TokenSpeed es un motor de inferencia para modelos de lenguaje de gran escala (LLM) de código abierto, diseñado específicamente para cargas de trabajo agénticas. Su objetivo es ofrecer un rendimiento comparable al de TensorRT-LLM, pero con la usabilidad y la facilidad de desarrollo de vLLM. La arquit
