Ortogonalizar la memoria mejora el recuerdo asociativo en modelos recurrentes
Las redes neuronales recurrentes (RNN) tienen dificultades para competir con los transformers en tareas de recuerdo asociativo, una capacidad que la atención facilita al dar a cada token acceso directo a los anteriores. Sin embargo, en dominios como el aprendizaje por refuerzo de horizonte largo —al
