Track4Gen: Insegnare ai Modelli di Diffusione Video a Tracciare i Punti Migliora la Generazione Video

Track4Gen: Teaching Video Diffusion Models to Track Points Improves Video Generation

December 8, 2024

Autori: Hyeonho Jeong, Chun-Hao Paul Huang, Jong Chul Ye, Niloy Mitra, Duygu Ceylan

cs.AI

Abstract

Mentre i generatori video fondamentali recenti producono output visivamente ricchi, faticano ancora con lo spostamento dell'aspetto, dove gli oggetti degradano gradualmente o cambiano in modo inconsistente tra i frame, rompendo la coerenza visiva. Ipotizziamo che ciò sia dovuto alla mancanza di supervisione esplicita in termini di tracciamento spaziale a livello di caratteristica. Proponiamo Track4Gen, un generatore video consapevole dello spazio che combina la perdita di diffusione video con il tracciamento dei punti tra i frame, fornendo una supervisione spaziale migliorata sulle caratteristiche di diffusione. Track4Gen fonde la generazione video e i compiti di tracciamento dei punti in una singola rete apportando modifiche minime alle architetture esistenti di generazione video. Utilizzando la Diffusione Video Stabile come base, Track4Gen dimostra che è possibile unificare la generazione video e il tracciamento dei punti, che vengono tipicamente gestiti come compiti separati. Le nostre valutazioni approfondite mostrano che Track4Gen riduce efficacemente lo spostamento dell'aspetto, producendo una generazione video temporalmente stabile e visivamente coerente. Pagina del progetto: hyeonho99.github.io/track4gen

English

While recent foundational video generators produce visually rich output, they still struggle with appearance drift, where objects gradually degrade or change inconsistently across frames, breaking visual coherence. We hypothesize that this is because there is no explicit supervision in terms of spatial tracking at the feature level. We propose Track4Gen, a spatially aware video generator that combines video diffusion loss with point tracking across frames, providing enhanced spatial supervision on the diffusion features. Track4Gen merges the video generation and point tracking tasks into a single network by making minimal changes to existing video generation architectures. Using Stable Video Diffusion as a backbone, Track4Gen demonstrates that it is possible to unify video generation and point tracking, which are typically handled as separate tasks. Our extensive evaluations show that Track4Gen effectively reduces appearance drift, resulting in temporally stable and visually coherent video generation. Project page: hyeonho99.github.io/track4gen