ProTracker: 頑健で正確なポイントトラッキングのための確率統合

要旨

本論文では、ProTrackerという新しいフレームワークを提案し、動画内の任意のポイントの堅牢で正確な長期密なトラッキングを行います。当方法の主要なアイデアは、確率的統合を取り入れることで、光学フローと意味的特徴の両方からの複数の予測を洗練し、堅牢な短期および長期のトラッキングを実現することです。具体的には、光学フローの推定を確率的に統合し、各予測の尤度を最大化することで、滑らかで正確な軌跡を生成します。遮蔽によって消えたり再出現したりする難しいポイントを効果的に再ローカライズするために、長期特徴対応を光学フローの予測にさらに組み込み、連続的な軌跡生成を行います。広範な実験により、ProTrackerが教師なしおよび自己教師付きアプローチの中で最先端の性能を達成し、いくつかのベンチマークで教師付き方法を上回ることが示されました。当コードとモデルは、公開される予定です。

English

In this paper, we propose ProTracker, a novel framework for robust and accurate long-term dense tracking of arbitrary points in videos. The key idea of our method is incorporating probabilistic integration to refine multiple predictions from both optical flow and semantic features for robust short-term and long-term tracking. Specifically, we integrate optical flow estimations in a probabilistic manner, producing smooth and accurate trajectories by maximizing the likelihood of each prediction. To effectively re-localize challenging points that disappear and reappear due to occlusion, we further incorporate long-term feature correspondence into our flow predictions for continuous trajectory generation. Extensive experiments show that ProTracker achieves the state-of-the-art performance among unsupervised and self-supervised approaches, and even outperforms supervised methods on several benchmarks. Our code and model will be publicly available upon publication.

ProTracker: 頑健で正確なポイントトラッキングのための確率統合

ProTracker: Probabilistic Integration for Robust and Accurate Point Tracking

要旨

Summary

Support