TAPTRv3: 장기 비디오에서 어떤 지점의 견고한 추적을 촉진하는 공간적 및 시간적 맥락

TAPTRv3: Spatial and Temporal Context Foster Robust Tracking of Any Point in Long Video

November 27, 2024

저자: Jinyuan Qu, Hongyang Li, Shilong Liu, Tianhe Ren, Zhaoyang Zeng, Lei Zhang

cs.AI

초록

본 논문에서는 TAPTRv2를 기반으로 한 TAPTRv3를 제안하며, 이는 장거리 비디오에서의 포인트 추적 강건성을 향상시키기 위해 구축되었습니다. TAPTRv2는 비용 볼륨을 필요로 하지 않고 현실 세계 비디오에서 어떤 포인트든 정확하게 추적할 수 있는 간단한 DETR과 유사한 프레임워크입니다. TAPTRv3는 TAPTRv2의 장기 비디오에서 고품질 피처를 쿼리하는 부족함을 해결함으로써 TAPTRv2를 개선합니다. 여기서 추적 포인트는 일반적으로 시간이 지남에 따라 변동이 증가합니다. TAPTRv3에서는 장거리 비디오에서 더 강력한 추적을 위해 공간 및 시간적 맥락을 활용하여 공간 및 시간 차원에서 더 나은 피처 쿼리를 제공합니다. 공간적 피처 쿼리를 위해 주변 공간 맥락을 활용하여 이미지 피처를 쿼리할 때 주의 점수의 품질을 향상시키는 Context-aware Cross-Attention (CCA)를 제안합니다. 시간적 피처 쿼리를 개선하기 위해 Visibility-aware Long-Temporal Attention (VLTA)를 소개하여 RNN과 유사한 장기 시간 모델링으로 인한 TAPTRv2의 피처 드리프팅 문제를 효과적으로 해결하면서 모든 과거 프레임에 대한 시간적 주의를 수행합니다. TAPTRv3는 다수의 어려운 데이터셋에서 TAPTRv2를 크게 앞선 성과를 보이며 최고 수준의 성능을 달성합니다. 대규모 추가 내부 데이터로 훈련된 방법과 비교해도 TAPTRv3는 여전히 경쟁력을 유지합니다.

English

In this paper, we present TAPTRv3, which is built upon TAPTRv2 to improve its point tracking robustness in long videos. TAPTRv2 is a simple DETR-like framework that can accurately track any point in real-world videos without requiring cost-volume. TAPTRv3 improves TAPTRv2 by addressing its shortage in querying high quality features from long videos, where the target tracking points normally undergo increasing variation over time. In TAPTRv3, we propose to utilize both spatial and temporal context to bring better feature querying along the spatial and temporal dimensions for more robust tracking in long videos. For better spatial feature querying, we present Context-aware Cross-Attention (CCA), which leverages surrounding spatial context to enhance the quality of attention scores when querying image features. For better temporal feature querying, we introduce Visibility-aware Long-Temporal Attention (VLTA) to conduct temporal attention to all past frames while considering their corresponding visibilities, which effectively addresses the feature drifting problem in TAPTRv2 brought by its RNN-like long-temporal modeling. TAPTRv3 surpasses TAPTRv2 by a large margin on most of the challenging datasets and obtains state-of-the-art performance. Even when compared with methods trained with large-scale extra internal data, TAPTRv3 is still competitive.