Tracktention: Sfruttare il Tracciamento di Punti per Analizzare Video in Modo Più Veloce e Migliore

Tracktention: Leveraging Point Tracking to Attend Videos Faster and Better

March 25, 2025

Autori: Zihang Lai, Andrea Vedaldi

cs.AI

Abstract

La coerenza temporale è fondamentale nella previsione video per garantire che gli output siano coerenti e privi di artefatti. I metodi tradizionali, come l'attenzione temporale e la convoluzione 3D, possono avere difficoltà con movimenti significativi degli oggetti e potrebbero non catturare dipendenze temporali a lungo raggio in scene dinamiche. Per colmare questa lacuna, proponiamo il Tracktention Layer, un componente architetturale innovativo che integra esplicitamente le informazioni di movimento utilizzando tracce di punti, ovvero sequenze di punti corrispondenti tra i fotogrammi. Incorporando questi segnali di movimento, il Tracktention Layer migliora l'allineamento temporale e gestisce efficacemente i movimenti complessi degli oggetti, mantenendo rappresentazioni di feature coerenti nel tempo. Il nostro approccio è computazionalmente efficiente e può essere integrato senza soluzione di continuità in modelli esistenti, come i Vision Transformers, con modifiche minime. Può essere utilizzato per aggiornare modelli progettati solo per immagini a modelli video all'avanguardia, superando talvolta modelli progettati nativamente per la previsione video. Dimostriamo ciò nella previsione della profondità video e nella colorizzazione video, dove i modelli potenziati con il Tracktention Layer mostrano una coerenza temporale significativamente migliorata rispetto ai modelli di riferimento.

English

Temporal consistency is critical in video prediction to ensure that outputs are coherent and free of artifacts. Traditional methods, such as temporal attention and 3D convolution, may struggle with significant object motion and may not capture long-range temporal dependencies in dynamic scenes. To address this gap, we propose the Tracktention Layer, a novel architectural component that explicitly integrates motion information using point tracks, i.e., sequences of corresponding points across frames. By incorporating these motion cues, the Tracktention Layer enhances temporal alignment and effectively handles complex object motions, maintaining consistent feature representations over time. Our approach is computationally efficient and can be seamlessly integrated into existing models, such as Vision Transformers, with minimal modification. It can be used to upgrade image-only models to state-of-the-art video ones, sometimes outperforming models natively designed for video prediction. We demonstrate this on video depth prediction and video colorization, where models augmented with the Tracktention Layer exhibit significantly improved temporal consistency compared to baselines.