DiTCtrl: Esplorazione del Controllo dell'Attenzione nella Diffusione Multi-Modale del Trasformatore per la Generazione di Video Più Lunghi con Multi-Prompt senza Regolazione.

DiTCtrl: Exploring Attention Control in Multi-Modal Diffusion Transformer for Tuning-Free Multi-Prompt Longer Video Generation

December 24, 2024

Autori: Minghong Cai, Xiaodong Cun, Xiaoyu Li, Wenze Liu, Zhaoyang Zhang, Yong Zhang, Ying Shan, Xiangyu Yue

cs.AI

Abstract

I modelli di generazione video simili a Sora hanno ottenuto progressi notevoli con un'architettura Multi-Modal Diffusion Transformer (MM-DiT). Tuttavia, i modelli attuali di generazione video si concentrano principalmente su singole istruzioni, faticando a generare scene coerenti con più istruzioni sequenziali che riflettano meglio scenari dinamici del mondo reale. Mentre alcuni lavori pionieristici hanno esplorato la generazione di video con più istruzioni, si trovano di fronte a sfide significative, tra cui rigorosi requisiti di dati di addestramento, debole sequenza di istruzioni e transizioni non naturali. Per affrontare questi problemi, proponiamo DiTCtrl, un metodo di generazione video multi-istruzione senza addestramento sotto architetture MM-DiT per la prima volta. La nostra idea chiave è considerare il compito di generazione video multi-istruzione come un editing video temporale con transizioni fluide. Per raggiungere questo obiettivo, analizziamo prima il meccanismo di attenzione di MM-DiT, scoprendo che l'attenzione completa 3D si comporta in modo simile a quella dei blocchi di attenzione incrociata/auto-attenzione nei modelli di diffusione simili a UNet, consentendo un controllo semantico preciso guidato da maschere attraverso diverse istruzioni con condivisione di attenzione per la generazione di video multi-istruzione. Sulla base del nostro progetto attento, il video generato da DiTCtrl raggiunge transizioni fluide e movimento degli oggetti coerente date le diverse istruzioni sequenziali senza ulteriore addestramento. Inoltre, presentiamo anche MPVBench, un nuovo benchmark appositamente progettato per la generazione di video multi-istruzione per valutare le prestazioni della generazione multi-istruzione. Estesi esperimenti dimostrano che il nostro metodo raggiunge prestazioni all'avanguardia senza ulteriore addestramento.

English

Sora-like video generation models have achieved remarkable progress with a Multi-Modal Diffusion Transformer MM-DiT architecture. However, the current video generation models predominantly focus on single-prompt, struggling to generate coherent scenes with multiple sequential prompts that better reflect real-world dynamic scenarios. While some pioneering works have explored multi-prompt video generation, they face significant challenges including strict training data requirements, weak prompt following, and unnatural transitions. To address these problems, we propose DiTCtrl, a training-free multi-prompt video generation method under MM-DiT architectures for the first time. Our key idea is to take the multi-prompt video generation task as temporal video editing with smooth transitions. To achieve this goal, we first analyze MM-DiT's attention mechanism, finding that the 3D full attention behaves similarly to that of the cross/self-attention blocks in the UNet-like diffusion models, enabling mask-guided precise semantic control across different prompts with attention sharing for multi-prompt video generation. Based on our careful design, the video generated by DiTCtrl achieves smooth transitions and consistent object motion given multiple sequential prompts without additional training. Besides, we also present MPVBench, a new benchmark specially designed for multi-prompt video generation to evaluate the performance of multi-prompt generation. Extensive experiments demonstrate that our method achieves state-of-the-art performance without additional training.