CityDreamer4D: Samenstelbaar Generatief Model van Onbegrensde 4D Steden

CityDreamer4D: Compositional Generative Model of Unbounded 4D Cities

January 15, 2025

Auteurs: Haozhe Xie, Zhaoxi Chen, Fangzhou Hong, Ziwei Liu

cs.AI

Samenvatting

Het genereren van 3D scènes heeft de afgelopen jaren steeds meer aandacht gekregen en heeft aanzienlijke vooruitgang geboekt. Het genereren van 4D steden is uitdagender dan 3D scènes vanwege de aanwezigheid van structureel complexe, visueel diverse objecten zoals gebouwen en voertuigen, en de verhoogde gevoeligheid van mensen voor vervormingen in stedelijke omgevingen. Om deze problemen aan te pakken, stellen we CityDreamer4D voor, een samenstellend generatief model dat specifiek is ontworpen voor het genereren van onbegrensde 4D steden. Onze belangrijkste inzichten zijn 1) 4D stadscreatie moet dynamische objecten (bijv. voertuigen) scheiden van statische scènes (bijv. gebouwen en wegen), en 2) alle objecten in de 4D scène moeten bestaan uit verschillende soorten neurale velden voor gebouwen, voertuigen en achtergrondobjecten. Specifiek stellen we een Verkeersscenario Generator en Onbegrensde Lay-out Generator voor om dynamische verkeersscenario's en statische stadsindelingen te produceren met behulp van een zeer compacte BEV representatie. Objecten in 4D steden worden gegenereerd door het combineren van stuff-georiënteerde en instantie-georiënteerde neurale velden voor achtergrondobjecten, gebouwen en voertuigen. Om aan de specifieke kenmerken van achtergrondobjecten en instanties te voldoen, maken de neurale velden gebruik van aangepaste generatieve hash grids en periodieke positionele embeddings als sceneparameterisaties. Bovendien bieden we een uitgebreide reeks datasets voor stadscreatie, waaronder OSM, GoogleEarth en CityTopia. De OSM dataset biedt een verscheidenheid aan stadsindelingen in de echte wereld, terwijl de Google Earth en CityTopia datasets grootschalige, hoogwaardige stadsbeelden leveren, compleet met 3D instantie annotaties. Dankzij het samenstellende ontwerp ondersteunt CityDreamer4D een scala aan toepassingen, zoals instantiebewerking, stadsstijl en stedelijke simulatie, terwijl het state-of-the-art prestaties levert bij het genereren van realistische 4D steden.

English

3D scene generation has garnered growing attention in recent years and has made significant progress. Generating 4D cities is more challenging than 3D scenes due to the presence of structurally complex, visually diverse objects like buildings and vehicles, and heightened human sensitivity to distortions in urban environments. To tackle these issues, we propose CityDreamer4D, a compositional generative model specifically tailored for generating unbounded 4D cities. Our main insights are 1) 4D city generation should separate dynamic objects (e.g., vehicles) from static scenes (e.g., buildings and roads), and 2) all objects in the 4D scene should be composed of different types of neural fields for buildings, vehicles, and background stuff. Specifically, we propose Traffic Scenario Generator and Unbounded Layout Generator to produce dynamic traffic scenarios and static city layouts using a highly compact BEV representation. Objects in 4D cities are generated by combining stuff-oriented and instance-oriented neural fields for background stuff, buildings, and vehicles. To suit the distinct characteristics of background stuff and instances, the neural fields employ customized generative hash grids and periodic positional embeddings as scene parameterizations. Furthermore, we offer a comprehensive suite of datasets for city generation, including OSM, GoogleEarth, and CityTopia. The OSM dataset provides a variety of real-world city layouts, while the Google Earth and CityTopia datasets deliver large-scale, high-quality city imagery complete with 3D instance annotations. Leveraging its compositional design, CityDreamer4D supports a range of downstream applications, such as instance editing, city stylization, and urban simulation, while delivering state-of-the-art performance in generating realistic 4D cities.