Los grandes modelos de lenguaje (LLM) actuales comparten un esqueleto común basado en la arquitectura transformer. Comprender las piezas fundamentales de ese bloque permite leer papers y fichas técnicas con criterio. Este artículo recorre los mecanismos esenciales: tokenización, embeddings, codificación posicional, atención, atención multi-cabeza, red feed-forward, residual stream, normalización de capa y predicción del siguiente token.
La tokenización convierte texto en enteros. Un tokenizador toma una cadena y produce una secuencia de IDs que apuntan a un vocabulario fijo, de decenas a cientos de miles de entradas. Las unidades suelen ser subpalabras: "tokenization" puede dividirse en ["token", "ization"]. Este punto medio permite manejar palabras nuevas sin inflar el vocabulario.
Los embeddings dotan de significado a esos enteros. La matriz de embeddings contiene un vector por cada token del vocabulario; su longitud define el tamaño oculto del modelo (por ejemplo, 4.096 dimensiones en muchos modelos de 7B parámetros). El vector se aprende durante el entrenamiento, de modo que tokens semánticamente cercanos quedan próximos en el espacio vectorial: "rey" se acerca a "reina", "París" a "Francia". A partir de ahí, operaciones aritméticas como rey − hombre + mujer ≈ reina arrojan resultados coherentes.
El embedding por sí solo no codifica el orden. La auto-atención estándar no distingue si "perro" va antes o después de "muerde". La codificación posicional resuelve esto. El paper original de Vaswani et al. (2017) sumaba patrones seno-coseno a cada embedding. Los modelos modernos suelen usar Rotary Position Embeddings (RoPE), introducido por Su et al. en 2021 y adoptado por LLaMA, Mistral, Gemma y Qwen. RoPE rota los vectores Query y Key según la posición, codificando distancia relativa de forma natural y mejorando la generalización a contextos largos.
La atención multi-cabeza permite que cada token intercambie información con todos los demás: cada cabeza rastrea relaciones distintas, ya sean referencias pronominales o estructura sintáctica. La red feed-forward, aplicada tras la atención, concentra buena parte del conocimiento almacenado: asociaciones de hechos y patrones memorizados.
El residual stream y la normalización de capa hacen posible apilar decenas de bloques en profundidad sin que el entrenamiento diverja. El residual permite que la información fluya sin obstáculos, mientras la normalización estabiliza las activaciones.
Finalmente, el modelo predice el siguiente token calculando una distribución de probabilidad sobre el vocabulario y muestreando de ella. El bucle se repite, token a token, hasta completar la respuesta. La arquitectura es compartida por casi todos los LLM modernos; lo que varía son los datos de entrenamiento, la escala y el post-entrenamiento (alineación, instrucción, RLHF).