4Real-Video: Apprendimento della diffusione video 4D fotorealistica generalizzabile

4Real-Video: Learning Generalizable Photo-Realistic 4D Video Diffusion

December 5, 2024

Autori: Chaoyang Wang, Peiye Zhuang, Tuan Duc Ngo, Willi Menapace, Aliaksandr Siarohin, Michael Vasilkovsky, Ivan Skorokhodov, Sergey Tulyakov, Peter Wonka, Hsin-Ying Lee

cs.AI

Abstract

Proponiamo 4Real-Video, un nuovo framework per la generazione di video 4D, organizzato come una griglia di frame video con assi temporali e di punto di vista. In questa griglia, ogni riga contiene frame che condividono lo stesso istante temporale, mentre ogni colonna contiene frame dello stesso punto di vista. Proponiamo una nuova architettura a due flussi. Un flusso esegue aggiornamenti del punto di vista sulle colonne, mentre l'altro flusso esegue aggiornamenti temporali sulle righe. Dopo ciascuno strato di trasformatore di diffusione, uno strato di sincronizzazione scambia informazioni tra i due flussi di token. Proponiamo due implementazioni dello strato di sincronizzazione, utilizzando la sincronizzazione rigida o morbida. Questa architettura feedforward migliora i lavori precedenti in tre modi: maggiore velocità di inferenza, qualità visiva migliorata (misurata da FVD, CLIP e VideoScore) e migliorata coerenza temporale e di punto di vista (misurata da VideoScore e Dust3R-Confidence).

English

We propose 4Real-Video, a novel framework for generating 4D videos, organized as a grid of video frames with both time and viewpoint axes. In this grid, each row contains frames sharing the same timestep, while each column contains frames from the same viewpoint. We propose a novel two-stream architecture. One stream performs viewpoint updates on columns, and the other stream performs temporal updates on rows. After each diffusion transformer layer, a synchronization layer exchanges information between the two token streams. We propose two implementations of the synchronization layer, using either hard or soft synchronization. This feedforward architecture improves upon previous work in three ways: higher inference speed, enhanced visual quality (measured by FVD, CLIP, and VideoScore), and improved temporal and viewpoint consistency (measured by VideoScore and Dust3R-Confidence).