TokenTown es una visualización interactiva e isométrica que representa un modelo de lenguaje transformer como una ciudad, donde cada distrito corresponde a una etapa del proceso: tokenización, embeddings, codificación posicional sinusoidal, LayerNorm, atención multi-cabezal con máscara causal y caché KV, conexiones residuales, capa feed-forward con GELU y muestreo con temperatura y top-p. Una pequeña escolta transporta el estado oculto por las calles y, al llegar a cada distrito, se detiene entre 9 y 26 segundos para mostrar una explicación textual del mecanismo, con una barra de progreso bajo el panel. Una vez recorridas todas las zonas, la simulación se acelera: las capas repetidas se reproducen en fast-forward porque comparten estructura.
La aplicación se ejecuta íntegramente en el navegador y replica el cálculo real de cada fase, no una mera animación: las barras del camión representan el vector en ese instante y los haces luminosos del almacén muestran los pesos softmax efectivos. Durante el prefill se procesan todos los tokens del prompt a la vez, mientras que en la fase de decode se avanza de uno en uno. Para mantener la visualización manejable, el modelo se ejecuta a escala reducida: 12 dimensiones en lugar de miles, 2 cabezas de atención frente a varias decenas, 2–12 capas frente a 80, y un vocabulario de unos pocos cientos de palabras en lugar de más de 100.000.
El proyecto advierte de que los pesos son aleatorios y el modelo no está entrenado, por lo que un transformer con pesos al azar emitiría ruido. Para que la salida sea legible, los logits finales combinan la proyección real del estado oculto con un prior de bigramas construido sobre un corpus fijo pequeño; además se intensifican las puntuaciones de atención y se aplican sesgos leves de token inicial y de recencia, lo que reproduce los patrones visuales de un modelo entrenado. El texto generado debe leerse como paisaje y el mecanismo, como verdadera lección. Los controles incluyen barra espaciadora para pausar, S para avanzar paso a paso, un regulador de velocidad de 0,4× a 8×, y botones de Reset y Run. La iniciativa se inspira en PGSimCity, una representación urbana del funcionamiento de PostgreSQL, y todo el código, ilustraciones y textos son originales.