Generazione di Video di un Minuto con Addestramento al Momento del Test

One-Minute Video Generation with Test-Time Training

April 7, 2025

Autori: Karan Dalal, Daniel Koceja, Gashon Hussein, Jiarui Xu, Yue Zhao, Youjin Song, Shihao Han, Ka Chun Cheung, Jan Kautz, Carlos Guestrin, Tatsunori Hashimoto, Sanmi Koyejo, Yejin Choi, Yu Sun, Xiaolong Wang

cs.AI

Abstract

I Transformer odierni continuano a lottare per generare video di un minuto perché i livelli di self-attention sono inefficienti per contesti lunghi. Alternative come i livelli Mamba hanno difficoltà con storie complesse a più scene perché i loro stati nascosti sono meno espressivi. Sperimentiamo con i livelli di Test-Time Training (TTT), i cui stati nascosti possono essere essi stessi reti neurali, e quindi più espressivi. L'aggiunta di livelli TTT a un Transformer pre-addestrato gli consente di generare video di un minuto a partire da storyboard testuali. Come prova di concetto, abbiamo curato un dataset basato sui cartoni animati di Tom e Jerry. Rispetto ai baseline come Mamba~2, Gated DeltaNet e livelli di attenzione a finestra scorrevole, i livelli TTT generano video molto più coerenti che raccontano storie complesse, superando di 34 punti Elo in una valutazione umana di 100 video per metodo. Sebbene promettenti, i risultati contengono ancora artefatti, probabilmente a causa delle capacità limitate del modello pre-addestrato da 5B. L'efficienza della nostra implementazione può anche essere migliorata. Abbiamo sperimentato solo con video di un minuto a causa dei vincoli di risorse, ma l'approccio può essere esteso a video più lunghi e storie più complesse. Video di esempio, codice e annotazioni sono disponibili su: https://test-time-training.github.io/video-dit

English

Transformers today still struggle to generate one-minute videos because self-attention layers are inefficient for long context. Alternatives such as Mamba layers struggle with complex multi-scene stories because their hidden states are less expressive. We experiment with Test-Time Training (TTT) layers, whose hidden states themselves can be neural networks, therefore more expressive. Adding TTT layers into a pre-trained Transformer enables it to generate one-minute videos from text storyboards. For proof of concept, we curate a dataset based on Tom and Jerry cartoons. Compared to baselines such as Mamba~2, Gated DeltaNet, and sliding-window attention layers, TTT layers generate much more coherent videos that tell complex stories, leading by 34 Elo points in a human evaluation of 100 videos per method. Although promising, results still contain artifacts, likely due to the limited capability of the pre-trained 5B model. The efficiency of our implementation can also be improved. We have only experimented with one-minute videos due to resource constraints, but the approach can be extended to longer videos and more complex stories. Sample videos, code and annotations are available at: https://test-time-training.github.io/video-dit