GenXD : Génération de Scènes 3D et 4D Arbitraires

GenXD: Generating Any 3D and 4D Scenes

November 4, 2024

Auteurs: Yuyang Zhao, Chung-Ching Lin, Kevin Lin, Zhiwen Yan, Linjie Li, Zhengyuan Yang, Jianfeng Wang, Gim Hee Lee, Lijuan Wang

cs.AI

Résumé

Les récents développements en génération visuelle 2D ont été remarquablement réussis. Cependant, la génération 3D et 4D reste un défi dans les applications du monde réel en raison du manque de données 4D à grande échelle et de la conception efficace des modèles. Dans cet article, nous proposons d'étudier conjointement la génération générale en 3D et 4D en exploitant les mouvements de caméra et d'objets couramment observés dans la vie quotidienne. En raison du manque de données 4D du monde réel dans la communauté, nous proposons d'abord un pipeline de curation des données pour obtenir les poses de caméra et la force du mouvement des objets à partir de vidéos. Sur la base de ce pipeline, nous introduisons un ensemble de données de scènes 4D du monde réel à grande échelle : CamVid-30K. En exploitant toutes les données 3D et 4D, nous développons notre cadre, GenXD, qui nous permet de produire n'importe quelle scène 3D ou 4D. Nous proposons des modules multivues-temporels, qui désagrègent les mouvements de caméra et d'objets, pour apprendre de manière transparente à partir des données 3D et 4D. De plus, GenXD utilise des conditions latentes masquées pour prendre en charge une variété de vues de conditionnement. GenXD peut générer des vidéos qui suivent la trajectoire de la caméra ainsi que des vues 3D cohérentes qui peuvent être converties en représentations 3D. Nous effectuons des évaluations approfondies sur divers ensembles de données du monde réel et synthétiques, démontrant l'efficacité et la polyvalence de GenXD par rapport aux méthodes précédentes en matière de génération 3D et 4D.

English

Recent developments in 2D visual generation have been remarkably successful. However, 3D and 4D generation remain challenging in real-world applications due to the lack of large-scale 4D data and effective model design. In this paper, we propose to jointly investigate general 3D and 4D generation by leveraging camera and object movements commonly observed in daily life. Due to the lack of real-world 4D data in the community, we first propose a data curation pipeline to obtain camera poses and object motion strength from videos. Based on this pipeline, we introduce a large-scale real-world 4D scene dataset: CamVid-30K. By leveraging all the 3D and 4D data, we develop our framework, GenXD, which allows us to produce any 3D or 4D scene. We propose multiview-temporal modules, which disentangle camera and object movements, to seamlessly learn from both 3D and 4D data. Additionally, GenXD employs masked latent conditions to support a variety of conditioning views. GenXD can generate videos that follow the camera trajectory as well as consistent 3D views that can be lifted into 3D representations. We perform extensive evaluations across various real-world and synthetic datasets, demonstrating GenXD's effectiveness and versatility compared to previous methods in 3D and 4D generation.