GenXD: Het Genereren van Willekeurige 3D en 4D Scènes

GenXD: Generating Any 3D and 4D Scenes

November 4, 2024

Auteurs: Yuyang Zhao, Chung-Ching Lin, Kevin Lin, Zhiwen Yan, Linjie Li, Zhengyuan Yang, Jianfeng Wang, Gim Hee Lee, Lijuan Wang

cs.AI

Samenvatting

Recente ontwikkelingen in 2D visuele generatie zijn opmerkelijk succesvol geweest. Echter, 3D en 4D generatie blijven uitdagend in praktische toepassingen vanwege het gebrek aan grootschalige 4D data en effectief modelontwerp. In dit artikel stellen we voor om gezamenlijk algemene 3D en 4D generatie te onderzoeken door gebruik te maken van camera- en objectbewegingen die vaak worden waargenomen in het dagelijks leven. Vanwege het gebrek aan echte 4D data in de gemeenschap, stellen we eerst een gegevenscuratiepijplijn voor om cameraposities en objectbewegingssterkte uit video's te verkrijgen. Op basis van deze pijplijn introduceren we een grootschalige echte 4D scènedataset: CamVid-30K. Door gebruik te maken van alle 3D en 4D data ontwikkelen we ons framework, GenXD, waarmee we elke 3D- of 4D-scène kunnen produceren. We stellen multiview-temporale modules voor, die camerabewegingen en objectbewegingen ontwarren, om naadloos te leren van zowel 3D- als 4D-data. Daarnaast maakt GenXD gebruik van gemaskeerde latente condities om een verscheidenheid aan conditioneringweergaven te ondersteunen. GenXD kan video's genereren die de cameratraject volgen, evenals consistente 3D-weergaven die kunnen worden omgezet in 3D-representaties. We voeren uitgebreide evaluaties uit over verschillende echte en synthetische datasets, waarbij we de effectiviteit en veelzijdigheid van GenXD aantonen in vergelijking met eerdere methoden in 3D- en 4D-generatie.

English

Recent developments in 2D visual generation have been remarkably successful. However, 3D and 4D generation remain challenging in real-world applications due to the lack of large-scale 4D data and effective model design. In this paper, we propose to jointly investigate general 3D and 4D generation by leveraging camera and object movements commonly observed in daily life. Due to the lack of real-world 4D data in the community, we first propose a data curation pipeline to obtain camera poses and object motion strength from videos. Based on this pipeline, we introduce a large-scale real-world 4D scene dataset: CamVid-30K. By leveraging all the 3D and 4D data, we develop our framework, GenXD, which allows us to produce any 3D or 4D scene. We propose multiview-temporal modules, which disentangle camera and object movements, to seamlessly learn from both 3D and 4D data. Additionally, GenXD employs masked latent conditions to support a variety of conditioning views. GenXD can generate videos that follow the camera trajectory as well as consistent 3D views that can be lifted into 3D representations. We perform extensive evaluations across various real-world and synthetic datasets, demonstrating GenXD's effectiveness and versatility compared to previous methods in 3D and 4D generation.