ProTracker: Integração Probabilística para Rastreamento Preciso e Robusto de Pontos

ProTracker: Probabilistic Integration for Robust and Accurate Point Tracking

January 6, 2025

Autores: Tingyang Zhang, Chen Wang, Zhiyang Dou, Qingzhe Gao, Jiahui Lei, Baoquan Chen, Lingjie Liu

cs.AI

Resumo

Neste artigo, propomos o ProTracker, um novo framework para rastreamento denso de longo prazo de pontos arbitrários em vídeos, robusto e preciso. A ideia-chave do nosso método é incorporar integração probabilística para refinar múltiplas previsões tanto do fluxo óptico quanto de características semânticas para um rastreamento robusto de curto e longo prazo. Especificamente, integramos estimativas de fluxo óptico de maneira probabilística, produzindo trajetórias suaves e precisas ao maximizar a verossimilhança de cada previsão. Para relocalizar efetivamente pontos desafiadores que desaparecem e reaparecem devido a oclusões, incorporamos ainda correspondência de características de longo prazo em nossas previsões de fluxo para geração contínua de trajetórias. Experimentos extensos mostram que o ProTracker alcança o desempenho de ponta entre abordagens não supervisionadas e auto-supervisionadas, e até supera métodos supervisionados em diversos benchmarks. Nosso código e modelo estarão publicamente disponíveis após a publicação.

English

In this paper, we propose ProTracker, a novel framework for robust and accurate long-term dense tracking of arbitrary points in videos. The key idea of our method is incorporating probabilistic integration to refine multiple predictions from both optical flow and semantic features for robust short-term and long-term tracking. Specifically, we integrate optical flow estimations in a probabilistic manner, producing smooth and accurate trajectories by maximizing the likelihood of each prediction. To effectively re-localize challenging points that disappear and reappear due to occlusion, we further incorporate long-term feature correspondence into our flow predictions for continuous trajectory generation. Extensive experiments show that ProTracker achieves the state-of-the-art performance among unsupervised and self-supervised approaches, and even outperforms supervised methods on several benchmarks. Our code and model will be publicly available upon publication.