STIV: Generazione Scalabile di Video Condizionati da Testo e Immagini
STIV: Scalable Text and Image Conditioned Video Generation
December 10, 2024
Autori: Zongyu Lin, Wei Liu, Chen Chen, Jiasen Lu, Wenze Hu, Tsu-Jui Fu, Jesse Allardice, Zhengfeng Lai, Liangchen Song, Bowen Zhang, Cha Chen, Yiran Fei, Yifan Jiang, Lezhi Li, Yizhou Sun, Kai-Wei Chang, Yinfei Yang
cs.AI
Abstract
Il campo della generazione di video ha fatto progressi notevoli, tuttavia c'è ancora un urgente bisogno di una ricetta chiara e sistematica che possa guidare lo sviluppo di modelli robusti e scalabili. In questo lavoro, presentiamo uno studio esaustivo che esplora sistematicamente l'interazione delle architetture dei modelli, delle ricette di addestramento e delle strategie di cura dei dati, culminando in un metodo di generazione di video condizionato da testo e immagine semplice e scalabile, chiamato STIV. Il nostro framework integra la condizione dell'immagine in un Diffusion Transformer (DiT) attraverso la sostituzione dei frame, incorporando contemporaneamente la condizione del testo tramite una guida gratuita di un classificatore condizionato immagine-testo congiunto. Questo design consente a STIV di eseguire contemporaneamente compiti di testo-a-video (T2V) e testo-immagine-a-video (TI2V). Inoltre, STIV può essere facilmente esteso a varie applicazioni, come la previsione video, l'interpolazione dei frame, la generazione multi-vista e la generazione di video lunghi, ecc. Con studi esaustivi sull'ablativo di T2I, T2V e TI2V, STIV dimostra prestazioni solide, nonostante il suo design semplice. Un modello di 8,7 miliardi con risoluzione 512 raggiunge 83,1 su VBench T2V, superando sia i modelli leader open source che closed source come CogVideoX-5B, Pika, Kling e Gen-3. Lo stesso modello di dimensioni simili raggiunge anche un risultato all'avanguardia del 90,1 sul compito I2V di VBench a 512 risoluzione. Fornendo una ricetta trasparente ed estensibile per la costruzione di modelli di generazione video all'avanguardia, miriamo a potenziare la ricerca futura e ad accelerare il progresso verso soluzioni di generazione video più versatili e affidabili.
English
The field of video generation has made remarkable advancements, yet there
remains a pressing need for a clear, systematic recipe that can guide the
development of robust and scalable models. In this work, we present a
comprehensive study that systematically explores the interplay of model
architectures, training recipes, and data curation strategies, culminating in a
simple and scalable text-image-conditioned video generation method, named STIV.
Our framework integrates image condition into a Diffusion Transformer (DiT)
through frame replacement, while incorporating text conditioning via a joint
image-text conditional classifier-free guidance. This design enables STIV to
perform both text-to-video (T2V) and text-image-to-video (TI2V) tasks
simultaneously. Additionally, STIV can be easily extended to various
applications, such as video prediction, frame interpolation, multi-view
generation, and long video generation, etc. With comprehensive ablation studies
on T2I, T2V, and TI2V, STIV demonstrate strong performance, despite its simple
design. An 8.7B model with 512 resolution achieves 83.1 on VBench T2V,
surpassing both leading open and closed-source models like CogVideoX-5B, Pika,
Kling, and Gen-3. The same-sized model also achieves a state-of-the-art result
of 90.1 on VBench I2V task at 512 resolution. By providing a transparent and
extensible recipe for building cutting-edge video generation models, we aim to
empower future research and accelerate progress toward more versatile and
reliable video generation solutions.Summary
AI-Generated Summary