CityDreamer4D: Kompositionelles Generatives Modell unbeschränkter 4D-Städte

CityDreamer4D: Compositional Generative Model of Unbounded 4D Cities

January 15, 2025

Autoren: Haozhe Xie, Zhaoxi Chen, Fangzhou Hong, Ziwei Liu

cs.AI

Zusammenfassung

Die Generierung von 3D-Szenen hat in den letzten Jahren zunehmend an Aufmerksamkeit gewonnen und signifikante Fortschritte gemacht. Die Generierung von 4D-Städten ist anspruchsvoller als 3D-Szenen aufgrund der strukturell komplexen, visuell vielfältigen Objekte wie Gebäude und Fahrzeuge sowie der gesteigerten menschlichen Sensibilität für Verzerrungen in städtischen Umgebungen. Um diese Probleme anzugehen, schlagen wir CityDreamer4D vor, ein kompositionelles generatives Modell, das speziell für die Erzeugung unbegrenzter 4D-Städte entwickelt wurde. Unsere Haupterkenntnisse sind: 1) Die Generierung von 4D-Städten sollte dynamische Objekte (z. B. Fahrzeuge) von statischen Szenen (z. B. Gebäuden und Straßen) trennen und 2) alle Objekte in der 4D-Szene sollten aus verschiedenen Arten von neuronalen Feldern für Gebäude, Fahrzeuge und Hintergrundobjekte zusammengesetzt sein. Konkret schlagen wir den Verkehrsszenario-Generator und den ungebundenen Layout-Generator vor, um dynamische Verkehrsszenarien und statische Stadtlayouts mithilfe einer hochkompakten BEV-Repräsentation zu erzeugen. Objekte in 4D-Städten werden durch die Kombination von stuff-orientierten und instanzorientierten neuronalen Feldern für Hintergrundobjekte, Gebäude und Fahrzeuge generiert. Um den unterschiedlichen Eigenschaften von Hintergrundobjekten und Instanzen gerecht zu werden, verwenden die neuronalen Felder individuell angepasste generative Hash-Gitter und periodische Positionseinbettungen als Szenenparametrisierungen. Darüber hinaus bieten wir eine umfassende Auswahl an Datensätzen für die Stadterzeugung, einschließlich OSM, GoogleEarth und CityTopia. Der OSM-Datensatz bietet eine Vielzahl von städtischen Layouts aus der realen Welt, während die Google Earth- und CityTopia-Datensätze groß angelegte, qualitativ hochwertige städtische Bilder mit 3D-Instanzannotationen liefern. Durch sein kompositionelles Design unterstützt CityDreamer4D eine Vielzahl von Anwendungen, wie Instanzbearbeitung, Stadtspezialisierung und städtische Simulation, und bietet gleichzeitig eine erstklassige Leistung bei der Generierung realistischer 4D-Städte.

English

3D scene generation has garnered growing attention in recent years and has made significant progress. Generating 4D cities is more challenging than 3D scenes due to the presence of structurally complex, visually diverse objects like buildings and vehicles, and heightened human sensitivity to distortions in urban environments. To tackle these issues, we propose CityDreamer4D, a compositional generative model specifically tailored for generating unbounded 4D cities. Our main insights are 1) 4D city generation should separate dynamic objects (e.g., vehicles) from static scenes (e.g., buildings and roads), and 2) all objects in the 4D scene should be composed of different types of neural fields for buildings, vehicles, and background stuff. Specifically, we propose Traffic Scenario Generator and Unbounded Layout Generator to produce dynamic traffic scenarios and static city layouts using a highly compact BEV representation. Objects in 4D cities are generated by combining stuff-oriented and instance-oriented neural fields for background stuff, buildings, and vehicles. To suit the distinct characteristics of background stuff and instances, the neural fields employ customized generative hash grids and periodic positional embeddings as scene parameterizations. Furthermore, we offer a comprehensive suite of datasets for city generation, including OSM, GoogleEarth, and CityTopia. The OSM dataset provides a variety of real-world city layouts, while the Google Earth and CityTopia datasets deliver large-scale, high-quality city imagery complete with 3D instance annotations. Leveraging its compositional design, CityDreamer4D supports a range of downstream applications, such as instance editing, city stylization, and urban simulation, while delivering state-of-the-art performance in generating realistic 4D cities.