GenXD: Generazione di Qualsiasi Scena 3D e 4D

GenXD: Generating Any 3D and 4D Scenes

November 4, 2024

Autori: Yuyang Zhao, Chung-Ching Lin, Kevin Lin, Zhiwen Yan, Linjie Li, Zhengyuan Yang, Jianfeng Wang, Gim Hee Lee, Lijuan Wang

cs.AI

Abstract

Gli sviluppi recenti nella generazione visuale 2D sono stati straordinariamente riusciti. Tuttavia, la generazione 3D e 4D rimane una sfida nelle applicazioni del mondo reale a causa della mancanza di dati 4D su larga scala e di un design efficace del modello. In questo articolo, proponiamo di investigare congiuntamente la generazione generale 3D e 4D sfruttando i movimenti della telecamera e degli oggetti comunemente osservati nella vita quotidiana. A causa della mancanza di dati 4D del mondo reale nella comunità, proponiamo innanzitutto un flusso di lavoro per la cura dei dati per ottenere pose della telecamera e intensità del movimento dell'oggetto dai video. Sulla base di questo flusso di lavoro, introduciamo un dataset di scene 4D del mondo reale su larga scala: CamVid-30K. Sfruttando tutti i dati 3D e 4D, sviluppiamo il nostro framework, GenXD, che ci consente di produrre qualsiasi scena 3D o 4D. Proponiamo moduli multivista-temporali, che disentangolano i movimenti della telecamera e degli oggetti, per apprendere in modo fluido sia dai dati 3D che 4D. Inoltre, GenXD utilizza condizioni latenti mascherate per supportare una varietà di viste condizionate. GenXD può generare video che seguono la traiettoria della telecamera così come viste 3D coerenti che possono essere trasformate in rappresentazioni 3D. Effettuiamo valutazioni approfondite su vari dataset del mondo reale e sintetici, dimostrando l'efficacia e la versatilità di GenXD rispetto ai metodi precedenti nella generazione 3D e 4D.

English

Recent developments in 2D visual generation have been remarkably successful. However, 3D and 4D generation remain challenging in real-world applications due to the lack of large-scale 4D data and effective model design. In this paper, we propose to jointly investigate general 3D and 4D generation by leveraging camera and object movements commonly observed in daily life. Due to the lack of real-world 4D data in the community, we first propose a data curation pipeline to obtain camera poses and object motion strength from videos. Based on this pipeline, we introduce a large-scale real-world 4D scene dataset: CamVid-30K. By leveraging all the 3D and 4D data, we develop our framework, GenXD, which allows us to produce any 3D or 4D scene. We propose multiview-temporal modules, which disentangle camera and object movements, to seamlessly learn from both 3D and 4D data. Additionally, GenXD employs masked latent conditions to support a variety of conditioning views. GenXD can generate videos that follow the camera trajectory as well as consistent 3D views that can be lifted into 3D representations. We perform extensive evaluations across various real-world and synthetic datasets, demonstrating GenXD's effectiveness and versatility compared to previous methods in 3D and 4D generation.