DiTCtrl: Explorando o Controle de Atenção no Difusor Multimodal Transformer para Geração de Vídeos Longos com Múltiplos Estímulos sem Ajuste.

DiTCtrl: Exploring Attention Control in Multi-Modal Diffusion Transformer for Tuning-Free Multi-Prompt Longer Video Generation

December 24, 2024

Autores: Minghong Cai, Xiaodong Cun, Xiaoyu Li, Wenze Liu, Zhaoyang Zhang, Yong Zhang, Ying Shan, Xiangyu Yue

cs.AI

Resumo

Os modelos de geração de vídeo semelhantes ao Sora alcançaram um progresso notável com uma arquitetura Multi-Modal Diffusion Transformer (MM-DiT). No entanto, os modelos atuais de geração de vídeo predominantemente se concentram em uma única sugestão, lutando para gerar cenas coerentes com múltiplas sugestões sequenciais que melhor refletem cenários dinâmicos do mundo real. Enquanto alguns trabalhos pioneiros exploraram a geração de vídeo com múltiplas sugestões, eles enfrentam desafios significativos, incluindo requisitos rigorosos de dados de treinamento, fraco acompanhamento das sugestões e transições não naturais. Para abordar esses problemas, propomos o DiTCtrl, um método de geração de vídeo com múltiplas sugestões sem treinamento sob arquiteturas MM-DiT pela primeira vez. Nossa ideia principal é abordar a tarefa de geração de vídeo com múltiplas sugestões como uma edição de vídeo temporal com transições suaves. Para alcançar esse objetivo, primeiro analisamos o mecanismo de atenção do MM-DiT, descobrindo que a atenção total em 3D se comporta de forma semelhante aos blocos de atenção cruzada/própria nos modelos de difusão semelhantes ao UNet, permitindo um controle semântico preciso guiado por máscara entre diferentes sugestões com compartilhamento de atenção para a geração de vídeo com múltiplas sugestões. Com base em nosso projeto cuidadoso, o vídeo gerado pelo DiTCtrl alcança transições suaves e movimento consistente de objetos dadas múltiplas sugestões sequenciais sem treinamento adicional. Além disso, também apresentamos o MPVBench, um novo benchmark especialmente projetado para a geração de vídeo com múltiplas sugestões para avaliar o desempenho da geração com múltiplas sugestões. Experimentos extensivos demonstram que nosso método alcança um desempenho de ponta sem treinamento adicional.

English

Sora-like video generation models have achieved remarkable progress with a Multi-Modal Diffusion Transformer MM-DiT architecture. However, the current video generation models predominantly focus on single-prompt, struggling to generate coherent scenes with multiple sequential prompts that better reflect real-world dynamic scenarios. While some pioneering works have explored multi-prompt video generation, they face significant challenges including strict training data requirements, weak prompt following, and unnatural transitions. To address these problems, we propose DiTCtrl, a training-free multi-prompt video generation method under MM-DiT architectures for the first time. Our key idea is to take the multi-prompt video generation task as temporal video editing with smooth transitions. To achieve this goal, we first analyze MM-DiT's attention mechanism, finding that the 3D full attention behaves similarly to that of the cross/self-attention blocks in the UNet-like diffusion models, enabling mask-guided precise semantic control across different prompts with attention sharing for multi-prompt video generation. Based on our careful design, the video generated by DiTCtrl achieves smooth transitions and consistent object motion given multiple sequential prompts without additional training. Besides, we also present MPVBench, a new benchmark specially designed for multi-prompt video generation to evaluate the performance of multi-prompt generation. Extensive experiments demonstrate that our method achieves state-of-the-art performance without additional training.