El Token-space font compiler es una herramienta de software que genera fuentes tipográficas donde cada token de lenguaje tiene un ancho uniforme, facilitando la visualización precisa de modelos de lenguaje de gran escala. Este sistema transforma el texto en una fuente TTF (TrueType) que integra las reglas de formateo del tokenizador directamente en la estructura de la fuente, eliminando la necesidad de scripts externos para la renderización básica.
La herramienta es compatible con diversos tokenizadores, incluyendo DeepSeek, OpenAI, Kimi, Qwen, GLM, Llama 3, Trinity y Laguna, así como pipelines de Hugging Face. Cada token emitido ocupa 3 em (unidades de medida tipográfica), con un espaciado adicional máximo de 0.5 em. El sistema soporta fuentes de emoji como Noto Emoji y permite la inclusión de fuentes de respaldo para caracteres ausentes.
El uso de esta fuente se integra en plataformas como Discord mediante Vesktop y Slack mediante scripts de usuario. En Discord, se requiere la instalación de la fuente TTF y la configuración de un tema específico para un ID de usuario o em. En Slack, se utiliza un userscript que aplica estilos a mensajes basados en nombres de agentes o IDs de miembros, sin modificar el texto original ni realizar peticiones de red.
Aunque la herramienta ofrece una precisión alta, existen limitaciones técnicas. Auditorías recientes revelaron discrepancias en el manejo de caracteres de control (U+001C–U+001F) en DeepSeek y límites de búsqueda en el backend de ctok para Claude. Además, el formateo en navegadores puede alterar los límites de tokens debido a la normalización de espacios y el procesamiento de guiones. Se recomienda verificar la compatibilidad de los tokenizadores específicos y mantener actualizados los scripts de aplicación para garantizar la consistencia visual.