TAPTRv3: Il Contesto Spaziale e Temporale Favorisce il Tracciamento Robusto di Qualsiasi Punto in Video Lunghi

TAPTRv3: Spatial and Temporal Context Foster Robust Tracking of Any Point in Long Video

November 27, 2024

Autori: Jinyuan Qu, Hongyang Li, Shilong Liu, Tianhe Ren, Zhaoyang Zeng, Lei Zhang

cs.AI

Abstract

In questo articolo presentiamo TAPTRv3, che si basa su TAPTRv2 per migliorare la robustezza del tracciamento dei punti in video lunghi. TAPTRv2 è un framework semplice simile a DETR che può tracciare con precisione qualsiasi punto in video del mondo reale senza richiedere un volume di costo. TAPTRv3 migliora TAPTRv2 affrontando la sua carenza nel ricercare funzionalità di alta qualità da video lunghi, dove i punti di tracciamento target subiscono normalmente una variazione crescente nel tempo. In TAPTRv3, proponiamo di utilizzare contesto spaziale e temporale per ottenere una migliore interrogazione delle funzionalità lungo le dimensioni spaziali e temporali per un tracciamento più robusto in video lunghi. Per una migliore interrogazione delle funzionalità spaziali, presentiamo l'Attenzione Incrociata Consapevole del Contesto (CCA), che sfrutta il contesto spaziale circostante per migliorare la qualità dei punteggi di attenzione durante l'interrogazione delle funzionalità dell'immagine. Per una migliore interrogazione delle funzionalità temporali, introduciamo l'Attenzione Temporale Lunga Consapevole della Visibilità (VLTA) per condurre l'attenzione temporale a tutti i frame passati considerando le rispettive visibilità, affrontando efficacemente il problema di deriva delle funzionalità in TAPTRv2 causato dal suo modello temporale lungo simile a un RNN. TAPTRv3 supera TAPTRv2 di gran lunga sulla maggior parte dei dataset sfidanti e ottiene prestazioni all'avanguardia. Anche confrontato con metodi addestrati con grandi quantità di dati interni extra su larga scala, TAPTRv3 rimane competitivo.

English

In this paper, we present TAPTRv3, which is built upon TAPTRv2 to improve its point tracking robustness in long videos. TAPTRv2 is a simple DETR-like framework that can accurately track any point in real-world videos without requiring cost-volume. TAPTRv3 improves TAPTRv2 by addressing its shortage in querying high quality features from long videos, where the target tracking points normally undergo increasing variation over time. In TAPTRv3, we propose to utilize both spatial and temporal context to bring better feature querying along the spatial and temporal dimensions for more robust tracking in long videos. For better spatial feature querying, we present Context-aware Cross-Attention (CCA), which leverages surrounding spatial context to enhance the quality of attention scores when querying image features. For better temporal feature querying, we introduce Visibility-aware Long-Temporal Attention (VLTA) to conduct temporal attention to all past frames while considering their corresponding visibilities, which effectively addresses the feature drifting problem in TAPTRv2 brought by its RNN-like long-temporal modeling. TAPTRv3 surpasses TAPTRv2 by a large margin on most of the challenging datasets and obtains state-of-the-art performance. Even when compared with methods trained with large-scale extra internal data, TAPTRv3 is still competitive.