GenXD: Generierung beliebiger 3D- und 4D-Szenen

GenXD: Generating Any 3D and 4D Scenes

November 4, 2024

Autoren: Yuyang Zhao, Chung-Ching Lin, Kevin Lin, Zhiwen Yan, Linjie Li, Zhengyuan Yang, Jianfeng Wang, Gim Hee Lee, Lijuan Wang

cs.AI

Zusammenfassung

Die jüngsten Entwicklungen in der 2D-Visuallerzeugung waren bemerkenswert erfolgreich. Allerdings bleiben die Erzeugung von 3D und 4D in realen Anwendungen aufgrund des Mangels an groß angelegten 4D-Daten und effektivem Modell-Design eine Herausforderung. In diesem Paper schlagen wir vor, die allgemeine 3D- und 4D-Erzeugung gemeinsam zu untersuchen, indem wir Kamera- und Objektbewegungen nutzen, die im täglichen Leben häufig beobachtet werden. Aufgrund des Mangels an realen 4D-Daten in der Community schlagen wir zunächst eine Datenkuratierungspipeline vor, um Kamerapositionen und Objektbewegungsstärke aus Videos zu erhalten. Basierend auf dieser Pipeline stellen wir einen groß angelegten realen 4D-Szenendatensatz vor: CamVid-30K. Unter Verwendung aller 3D- und 4D-Daten entwickeln wir unser Framework, GenXD, mit dem wir jede 3D- oder 4D-Szene erzeugen können. Wir schlagen Multiview-Temporal-Module vor, die Kamera- und Objektbewegungen entwirren, um nahtlos aus 3D- und 4D-Daten zu lernen. Darüber hinaus verwendet GenXD maskierte latente Bedingungen, um eine Vielzahl von Konditionierungsansichten zu unterstützen. GenXD kann Videos erzeugen, die der Kameratrajektorie folgen, sowie konsistente 3D-Ansichten, die in 3D-Repräsentationen umgewandelt werden können. Wir führen umfangreiche Bewertungen über verschiedene reale und synthetische Datensätze durch und zeigen die Wirksamkeit und Vielseitigkeit von GenXD im Vergleich zu früheren Methoden in der 3D- und 4D-Erzeugung.

English

Recent developments in 2D visual generation have been remarkably successful. However, 3D and 4D generation remain challenging in real-world applications due to the lack of large-scale 4D data and effective model design. In this paper, we propose to jointly investigate general 3D and 4D generation by leveraging camera and object movements commonly observed in daily life. Due to the lack of real-world 4D data in the community, we first propose a data curation pipeline to obtain camera poses and object motion strength from videos. Based on this pipeline, we introduce a large-scale real-world 4D scene dataset: CamVid-30K. By leveraging all the 3D and 4D data, we develop our framework, GenXD, which allows us to produce any 3D or 4D scene. We propose multiview-temporal modules, which disentangle camera and object movements, to seamlessly learn from both 3D and 4D data. Additionally, GenXD employs masked latent conditions to support a variety of conditioning views. GenXD can generate videos that follow the camera trajectory as well as consistent 3D views that can be lifted into 3D representations. We perform extensive evaluations across various real-world and synthetic datasets, demonstrating GenXD's effectiveness and versatility compared to previous methods in 3D and 4D generation.