Este artículo técnico explora las arquitecturas de los modelos de lenguaje de gran escala (LLM) disponibles en el ecosistema open-source, con el objetivo de determinar cómo el diseño interno influye en el rendimiento y la eficiencia de recursos. El estudio se centra en modelos seleccionados específicamente para ejecutarse en tarjetas gráficas de 8 GB, cubriendo la gama de diseños actuales, desde los transformadores densos hasta los modelos de mezcla de expertos (MoE) y los modelos de espacio de estado (SSM).
El texto detalla cómo la atención (attention) y la memoria de caché KV representan los principales cuellos de botella computacionales. Se analizan técnicas como la atención agrupada (GQA) y la atención de ventana deslizante para reducir el consumo de memoria en contextos largos, así como la introducción de la esparsidad mediante MoE, que permite mantener un número total de parámetros elevado mientras se limita la computación activa por token. Además, se examinan alternativas a la atención, como los modelos de espacio de estado (Mamba-2) y la atención lineal (Gated DeltaNet), que ofrecen memoria constante independientemente de la longitud del contexto, aunque a costa de una recuperación imperfecta de la información pasada. La publicación sirve como referencia para ingenieros de IA que buscan optimizar el despliegue de modelos en hardware limitado, destacando el equilibrio entre parámetros totales, parámetros activos y ancho de banda de memoria.