Un equipo de investigación ha presentado la Lattice of Latents, una arquitectura de modelos de lenguaje que incrementa la capacidad computacional mediante estados latentes horizontales persistentes, en lugar de profundizar las capas o aumentar el ancho de las conexiones residuales. A diferencia de las arquitecturas híbridas Transformer–SSM, donde los estados recurrentes sirven principalmente como memoria interna, esta propuesta condiciona directamente la atención, la escritura de la caché KV y la decodificación. Los modelos basados en esta estructura, entrenados con 20.000 millones de tokens de FineWeb-Edu, logran reducir la perplexidad de validación de 15,41 a 14,40 en un modelo de 406 millones de parámetros, superando a un Transformer de parámetros equivalentes. Esta mejora se extiende a variantes arquitectónicas y se combina eficazmente con conexiones hiper y residuos de entrada, logrando una perplexidad de 13,61. En arquitecturas como Gated DeltaNet o Mamba-2, los modelos con latentes superan a las líneas base con estados cuatro veces más grandes. El estudio destaca que los estados persistentes por capa constituyen un eje complementario para escalar la computación en modelos de lenguaje, ofreciendo una alternativa eficiente en términos de memoria KV y operaciones por token frente a las soluciones tradicionales de profundidad.
