TokenLift es una herramienta de software diseñada para optimizar la generación de texto en modelos de lenguaje grandes (LLM) que utilizan tokenizadores de nivel de byte, como los modelos Qwen3. Su objetivo principal es reducir la latencia en la generación de idiomas como el tamil y el hindi, donde los tokenizadores fragmentan las palabras en múltiples subunidades, lo que resulta en una ineficiencia significativa en el procesamiento. A diferencia de los decodificadores especulativos tradicionales que pueden alterar la salida, TokenLift garantiza que la salida sea idéntica a la del modelo original, preservando tanto la precisión de la decodificación greedy como la distribución de probabilidad en la muestreo.
El funcionamiento se basa en entrenar una pequeña cabeza de predicción (draft head) con alcance de palabra que anticipa el resto de las subunidades de una palabra. Esta cabeza verifica sus predicciones en un solo paso de inferencia del modelo objetivo, aceptando solo los tokens que coinciden con la decisión del modelo original. Esto elimina la redundancia de pasos de inferencia innecesarios sin comprometer la coherencia del texto. La herramienta es compatible con hardware de Apple (MPS), CUDA y CPU, y permite el entrenamiento de la cabeza en portátiles, lo que la hace accesible para entornos con recursos limitados.
Los resultados muestran mejoras significativas en la velocidad de pared (wall-clock speedup) para modelos de 0.6B a 4.0B parámetros, con aceleraciones de hasta 2.10 veces en modelos de 4.0B para tamil y hindi. TokenLift destaca por ser la primera decodificadora especulativa enfocada específicamente en la fragmentación de palabras en idiomas indic, ofreciendo además una herramienta de diagnóstico para medir el 'espacio de cabeza' (headroom) de cualquier modelo, lo que permite a los desarrolladores evaluar si vale la pena entrenar una cabeza para su caso de uso específico.