ProTracker: Integrazione Probabilistica per un Tracciamento Punti Robusto e Preciso

ProTracker: Probabilistic Integration for Robust and Accurate Point Tracking

January 6, 2025

Autori: Tingyang Zhang, Chen Wang, Zhiyang Dou, Qingzhe Gao, Jiahui Lei, Baoquan Chen, Lingjie Liu

cs.AI

Abstract

In questo articolo, proponiamo ProTracker, un nuovo framework per il tracciamento denso a lungo termine robusto e accurato di punti arbitrari nei video. L'idea chiave del nostro metodo è l'incorporazione dell'integrazione probabilistica per perfezionare le previsioni multiple sia del flusso ottico che delle caratteristiche semantiche per un tracciamento robusto a breve e lungo termine. In particolare, integriamo le stime del flusso ottico in modo probabilistico, producendo traiettorie lisce e accurate massimizzando la verosimiglianza di ciascuna previsione. Per rilocalizzare efficacemente punti sfidanti che scompaiono e riappaiono a causa dell'occlusione, incorporiamo ulteriormente la corrispondenza delle caratteristiche a lungo termine nelle nostre previsioni di flusso per la generazione continua delle traiettorie. Gli esperimenti estensivi mostrano che ProTracker raggiunge le prestazioni di ultima generazione tra gli approcci non supervisionati e auto-supervisionati, superando addirittura i metodi supervisionati su diversi benchmark. Il nostro codice e modello saranno resi pubblicamente disponibili al momento della pubblicazione.

English

In this paper, we propose ProTracker, a novel framework for robust and accurate long-term dense tracking of arbitrary points in videos. The key idea of our method is incorporating probabilistic integration to refine multiple predictions from both optical flow and semantic features for robust short-term and long-term tracking. Specifically, we integrate optical flow estimations in a probabilistic manner, producing smooth and accurate trajectories by maximizing the likelihood of each prediction. To effectively re-localize challenging points that disappear and reappear due to occlusion, we further incorporate long-term feature correspondence into our flow predictions for continuous trajectory generation. Extensive experiments show that ProTracker achieves the state-of-the-art performance among unsupervised and self-supervised approaches, and even outperforms supervised methods on several benchmarks. Our code and model will be publicly available upon publication.