Attraverso-la-Maschera: Traiettorie di Movimento Basate su Maschera per la Generazione Immagine-Video

Through-The-Mask: Mask-based Motion Trajectories for Image-to-Video Generation

January 6, 2025

Autori: Guy Yariv, Yuval Kirstain, Amit Zohar, Shelly Sheynin, Yaniv Taigman, Yossi Adi, Sagie Benaim, Adam Polyak

cs.AI

Abstract

Consideriamo il compito di generazione Immagine-a-Video (I2V), che comporta la trasformazione di immagini statiche in sequenze video realistiche basate su una descrizione testuale. Mentre i recenti progressi producono output fotorealistici, spesso faticano a creare video con un movimento degli oggetti preciso e coerente, specialmente in scenari multi-oggetto. Per affrontare queste limitazioni, proponiamo un framework composito a due fasi che scompone la generazione I2V in: (i) una fase di generazione di una rappresentazione intermedia esplicita, seguita da (ii) una fase di generazione video condizionata su questa rappresentazione. La nostra innovazione chiave è l'introduzione di una traiettoria di movimento basata su maschera come rappresentazione intermedia, che cattura sia informazioni semantiche sugli oggetti che il movimento, consentendo una rappresentazione espressiva ma compatta di movimento e semantica. Per incorporare la rappresentazione appresa nella seconda fase, utilizziamo obiettivi di attenzione a livello di oggetto. In particolare, consideriamo un obiettivo di attenzione incrociata mascherata spaziale, per oggetto, integrando prompt specifici dell'oggetto nelle regioni spaziali latenti corrispondenti e un obiettivo di auto-attenzione spazio-temporale mascherata, garantendo coerenza da frame a frame per ciascun oggetto. Valutiamo il nostro metodo su benchmark impegnativi con scenari multi-oggetto e ad alto movimento e dimostriamo empiricamente che il metodo proposto raggiunge risultati all'avanguardia in coerenza temporale, realismo del movimento e fedeltà al prompt testuale. Inoltre, presentiamo \benchmark, un nuovo benchmark impegnativo per la generazione I2V di singoli oggetti e multi-oggetti e dimostriamo la superiorità del nostro metodo su questo benchmark. La pagina del progetto è disponibile su https://guyyariv.github.io/TTM/.

English

We consider the task of Image-to-Video (I2V) generation, which involves transforming static images into realistic video sequences based on a textual description. While recent advancements produce photorealistic outputs, they frequently struggle to create videos with accurate and consistent object motion, especially in multi-object scenarios. To address these limitations, we propose a two-stage compositional framework that decomposes I2V generation into: (i) An explicit intermediate representation generation stage, followed by (ii) A video generation stage that is conditioned on this representation. Our key innovation is the introduction of a mask-based motion trajectory as an intermediate representation, that captures both semantic object information and motion, enabling an expressive but compact representation of motion and semantics. To incorporate the learned representation in the second stage, we utilize object-level attention objectives. Specifically, we consider a spatial, per-object, masked-cross attention objective, integrating object-specific prompts into corresponding latent space regions and a masked spatio-temporal self-attention objective, ensuring frame-to-frame consistency for each object. We evaluate our method on challenging benchmarks with multi-object and high-motion scenarios and empirically demonstrate that the proposed method achieves state-of-the-art results in temporal coherence, motion realism, and text-prompt faithfulness. Additionally, we introduce \benchmark, a new challenging benchmark for single-object and multi-object I2V generation, and demonstrate our method's superiority on this benchmark. Project page is available at https://guyyariv.github.io/TTM/.