Memorizon es una técnica de entrenamiento para modelos mundiales de visión por computadora diseñada para superar las limitaciones de la ventana de contexto en tareas de supervisión a largo plazo. El problema central que aborda es la necesidad de capturar muestras de entrenamiento que abarquen múltiples visitas a un mismo entorno, lo cual suele requerir secuencias de varios minutos. La atención directa sobre todo el rango temporal genera costes cuadráticos prohibitivos, haciendo inviable el entrenamiento tradicional con ventanas deslizantes.
La solución de Memorizon desacopla la longitud del rango de supervisión del coste computacional de la atención. En lugar de tokenizar la historia completa, el método utiliza un banco compartido de latentes recuperados mediante co-visibilidad de cámara. Cada chunk evaluado recupiere sus top-K latentes, y la unión de estas solicitudes forma el banco, limitado por kK. Esto permite que la secuencia permanezca acotada independientemente de la duración del rango, manteniendo la consistencia en la repetición de visitas.
Los resultados muestran que, frente a una línea base de ventana deslizante, la recuperación de latentes mejora la consistencia de repetición en todas las divisiones de datos. Al extender el rango hasta alcanzar la primera visita de cada retorno, se obtiene una mejora adicional del 24% al 30% en la consistencia, aunque con un coste en la calidad de la imagen. El aumento en el tiempo de paso es mínimo: pasar de 100 a 400 segundos de rango añade solo un 12% al tiempo de cómputo. Sin embargo, rellenar el banco con otro episodio reduce la correlación de repetición en un 83%, lo que indica que el modelo depende de los datos recuperados para mantener la coherencia temporal.