Através da Máscara: Trajetórias de Movimento Baseadas em Máscara para Geração de Imagem para Vídeo

Through-The-Mask: Mask-based Motion Trajectories for Image-to-Video Generation

January 6, 2025

Autores: Guy Yariv, Yuval Kirstain, Amit Zohar, Shelly Sheynin, Yaniv Taigman, Yossi Adi, Sagie Benaim, Adam Polyak

cs.AI

Resumo

Consideramos a tarefa de geração de Imagem-para-Vídeo (I2V), que envolve a transformação de imagens estáticas em sequências de vídeo realistas com base em uma descrição textual. Embora avanços recentes produzam saídas fotorrealísticas, frequentemente enfrentam dificuldades para criar vídeos com movimento de objetos preciso e consistente, especialmente em cenários com múltiplos objetos. Para lidar com essas limitações, propomos um framework compositivo de duas etapas que decompõe a geração I2V em: (i) Uma etapa de geração de representação intermediária explícita, seguida por (ii) Uma etapa de geração de vídeo condicionada a essa representação. Nossa principal inovação é a introdução de uma trajetória de movimento baseada em máscara como representação intermediária, que captura informações semânticas do objeto e movimento, possibilitando uma representação expressiva, porém compacta, de movimento e semântica. Para incorporar a representação aprendida na segunda etapa, utilizamos objetivos de atenção ao nível do objeto. Especificamente, consideramos um objetivo de atenção cruzada mascarada espacial, por objeto, integrando prompts específicos do objeto em regiões correspondentes do espaço latente e um objetivo de autoatenção espacial-temporal mascarada, garantindo consistência de quadro a quadro para cada objeto. Avaliamos nosso método em benchmarks desafiadores com cenários de múltiplos objetos e alto movimento e demonstramos empiricamente que o método proposto alcança resultados de ponta em coerência temporal, realismo de movimento e fidelidade à descrição textual. Além disso, introduzimos \benchmark, um novo benchmark desafiador para geração de I2V de objeto único e múltiplos objetos e demonstramos a superioridade de nosso método neste benchmark. A página do projeto está disponível em https://guyyariv.github.io/TTM/.

English

We consider the task of Image-to-Video (I2V) generation, which involves transforming static images into realistic video sequences based on a textual description. While recent advancements produce photorealistic outputs, they frequently struggle to create videos with accurate and consistent object motion, especially in multi-object scenarios. To address these limitations, we propose a two-stage compositional framework that decomposes I2V generation into: (i) An explicit intermediate representation generation stage, followed by (ii) A video generation stage that is conditioned on this representation. Our key innovation is the introduction of a mask-based motion trajectory as an intermediate representation, that captures both semantic object information and motion, enabling an expressive but compact representation of motion and semantics. To incorporate the learned representation in the second stage, we utilize object-level attention objectives. Specifically, we consider a spatial, per-object, masked-cross attention objective, integrating object-specific prompts into corresponding latent space regions and a masked spatio-temporal self-attention objective, ensuring frame-to-frame consistency for each object. We evaluate our method on challenging benchmarks with multi-object and high-motion scenarios and empirically demonstrate that the proposed method achieves state-of-the-art results in temporal coherence, motion realism, and text-prompt faithfulness. Additionally, we introduce \benchmark, a new challenging benchmark for single-object and multi-object I2V generation, and demonstrate our method's superiority on this benchmark. Project page is available at https://guyyariv.github.io/TTM/.