ProTracker: 견고하고 정확한 점 추적을 위한 확률적 통합

ProTracker: Probabilistic Integration for Robust and Accurate Point Tracking

January 6, 2025

저자: Tingyang Zhang, Chen Wang, Zhiyang Dou, Qingzhe Gao, Jiahui Lei, Baoquan Chen, Lingjie Liu

cs.AI

초록

본 논문에서는 비디오 내 임의의 점에 대한 강력하고 정확한 장기 밀도 추적을 위한 혁신적인 프레임워크인 ProTracker를 제안합니다. 우리 방법의 핵심 아이디어는 확률적 통합을 통해 광학 흐름과 의미적 특징으로부터 여러 예측을 정제하여 강력한 단기 및 장기 추적을 하는 것입니다. 구체적으로, 우리는 확률적 방식으로 광학 흐름 추정을 통합하여 각 예측의 가능성을 극대화하여 부드럽고 정확한 궤적을 생성합니다. 가령, 가려짐으로 인해 사라지고 나타나는 어려운 점을 효과적으로 재지정하기 위해 장기적인 특징 대응을 우리의 흐름 예측에 추가하여 연속적인 궤적 생성을 합니다. 광범위한 실험 결과 ProTracker가 비지도 및 자가 감독 접근법 중 최고의 성능을 달성하며, 몇 가지 벤치마크에서 지도 학습 방법을 능가한다는 것을 보여줍니다. 우리의 코드와 모델은 발표 후에 공개될 예정입니다.

English

In this paper, we propose ProTracker, a novel framework for robust and accurate long-term dense tracking of arbitrary points in videos. The key idea of our method is incorporating probabilistic integration to refine multiple predictions from both optical flow and semantic features for robust short-term and long-term tracking. Specifically, we integrate optical flow estimations in a probabilistic manner, producing smooth and accurate trajectories by maximizing the likelihood of each prediction. To effectively re-localize challenging points that disappear and reappear due to occlusion, we further incorporate long-term feature correspondence into our flow predictions for continuous trajectory generation. Extensive experiments show that ProTracker achieves the state-of-the-art performance among unsupervised and self-supervised approaches, and even outperforms supervised methods on several benchmarks. Our code and model will be publicly available upon publication.