TrackEverything resuelve la limitación de seguimiento de puntos 3D

TrackEverything es un modelo de seguimiento de puntos en 3D que elimina la restricción tradicional entre la duración del video y la densidad de puntos rastreados. A diferencia de los modelos existentes, que deben elegir entre rastrear pocos puntos a largo plazo o muchos puntos a corto plazo, esta herramienta permite rastrear todos los puntos visibles en videos de más de 1000 frames utilizando solo 40 GB de memoria de GPU. El sistema se basa en la representación de escenas como trazas 3D persistentes en coordenadas del mundo, desacoplando la complejidad del modelo de la duración del clip. La innovación técnica se centra en tres pilares: un mecanismo de deduplicación basado en voxels en las ventanas deslizantes para evitar observaciones redundantes de la misma superficie; una descomposición en un refinador de puntos finales que clasifica puntos estáticos y dinámicos, seguido de un refinador de trayectorias ligero; y la propuesta de 3D WAFT, que sustituye los volúmenes de correlación 4D prohibitivos para la memoria por una muestreo eficiente de características en la nube de escena. En las pruebas en el conjunto de datos TAPVid-3D, TrackEverything supera a todos los rastreadores densos de 3D de código abierto en clips cortos con más del 20% de mejora en la puntuación APD, manteniendo una competencia sólida con los rastreadores esparsos de estado del arte en secuencias largas, a pesar de manejar un volumen significativamente mayor de puntos.