El Recurrent Looped Transformer (RLT) es una arquitectura de modelo de lenguaje que combina un codificador causal con un decodificador recurrente, permitiendo una profundidad temporal extensible sin límites fijos en la secuencia. A diferencia de los transformadores tradicionales, el RLT mantiene el estado oculto final y una caché de atención de ventana deslizante (SWA) a través de cada token de entrada y respuesta, extendiendo el cálculo latente a medida que crece la secuencia. El codificador construye una memoria global de claves y valores, mientras que el decodificador realiza un cálculo continuo, facilitando el razonamiento con profundidad temporal infinita.
Noticias agregadas con IA