CityDreamer4D: Modello Generativo Composito di Città 4D Illimitate

CityDreamer4D: Compositional Generative Model of Unbounded 4D Cities

January 15, 2025

Autori: Haozhe Xie, Zhaoxi Chen, Fangzhou Hong, Ziwei Liu

cs.AI

Abstract

La generazione di scene 3D ha attirato crescente attenzione negli ultimi anni e ha fatto significativi progressi. Generare città 4D è più impegnativo rispetto alle scene 3D a causa della presenza di oggetti strutturalmente complessi e visivamente diversi come edifici e veicoli, e dell'aumentata sensibilità umana alle distorsioni negli ambienti urbani. Per affrontare queste problematiche, proponiamo CityDreamer4D, un modello generativo composito appositamente progettato per generare città 4D illimitate. Le nostre principali intuizioni sono 1) la generazione di città 4D dovrebbe separare gli oggetti dinamici (ad esempio, veicoli) dalle scene statiche (ad esempio, edifici e strade), e 2) tutti gli oggetti nella scena 4D dovrebbero essere composti da diversi tipi di campi neurali per edifici, veicoli e sfondo. In particolare, proponiamo il Generatore di Scenari di Traffico e il Generatore di Layout Illimitato per produrre scenari di traffico dinamici e layout cittadini statici utilizzando una rappresentazione BEV altamente compatta. Gli oggetti nelle città 4D sono generati combinando campi neurali orientati agli oggetti e orientati alle istanze per lo sfondo, gli edifici e i veicoli. Per adattarsi alle caratteristiche distinte dello sfondo e delle istanze, i campi neurali impiegano griglie hash generative personalizzate e incorporamenti posizionali periodici come parametrizzazioni della scena. Inoltre, offriamo una vasta gamma di set di dati per la generazione di città, tra cui OSM, GoogleEarth e CityTopia. Il set di dati OSM fornisce una varietà di layout cittadini reali, mentre i set di dati di Google Earth e CityTopia offrono immagini cittadine di alta qualità su larga scala complete di annotazioni di istanze 3D. Sfruttando il suo design composito, CityDreamer4D supporta una serie di applicazioni derivate, come la modifica delle istanze, la stilizzazione cittadina e la simulazione urbana, offrendo nel contempo prestazioni all'avanguardia nella generazione di città 4D realistiche.

English

3D scene generation has garnered growing attention in recent years and has made significant progress. Generating 4D cities is more challenging than 3D scenes due to the presence of structurally complex, visually diverse objects like buildings and vehicles, and heightened human sensitivity to distortions in urban environments. To tackle these issues, we propose CityDreamer4D, a compositional generative model specifically tailored for generating unbounded 4D cities. Our main insights are 1) 4D city generation should separate dynamic objects (e.g., vehicles) from static scenes (e.g., buildings and roads), and 2) all objects in the 4D scene should be composed of different types of neural fields for buildings, vehicles, and background stuff. Specifically, we propose Traffic Scenario Generator and Unbounded Layout Generator to produce dynamic traffic scenarios and static city layouts using a highly compact BEV representation. Objects in 4D cities are generated by combining stuff-oriented and instance-oriented neural fields for background stuff, buildings, and vehicles. To suit the distinct characteristics of background stuff and instances, the neural fields employ customized generative hash grids and periodic positional embeddings as scene parameterizations. Furthermore, we offer a comprehensive suite of datasets for city generation, including OSM, GoogleEarth, and CityTopia. The OSM dataset provides a variety of real-world city layouts, while the Google Earth and CityTopia datasets deliver large-scale, high-quality city imagery complete with 3D instance annotations. Leveraging its compositional design, CityDreamer4D supports a range of downstream applications, such as instance editing, city stylization, and urban simulation, while delivering state-of-the-art performance in generating realistic 4D cities.