CityDreamer4D: 無限の4次元都市の構成生成モデル

CityDreamer4D: Compositional Generative Model of Unbounded 4D Cities

January 15, 2025

著者: Haozhe Xie, Zhaoxi Chen, Fangzhou Hong, Ziwei Liu

cs.AI

要旨

近年、3Dシーン生成が注目を集め、大きな進歩を遂げています。4D都市の生成は、建物や車両など構造的に複雑で視覚的に多様なオブジェクトが存在し、都市環境における歪みに対する人間の感受性が高まるため、3Dシーンよりも難しい課題です。これらの問題に取り組むため、私たちはCityDreamer4Dを提案します。これは、非境界の4D都市を生成するために特別に設計された構成的生成モデルです。主な洞察は、1) 4D都市生成では、動的オブジェクト（例：車両）と静的シーン（例：建物や道路）を分離すべきであり、2) 4Dシーン内のすべてのオブジェクトは、建物、車両、背景などの異なる種類のニューラルフィールドから構成されるべきであるということです。具体的には、Traffic Scenario GeneratorとUnbounded Layout Generatorを提案し、高度にコンパクトなBEV表現を使用して、動的な交通シナリオと静的な都市レイアウトを生成します。4D都市内のオブジェクトは、背景、建物、車両のためのstuff-orientedおよびinstance-orientedニューラルフィールドを組み合わせて生成されます。背景とインスタンスの特性に合わせて、ニューラルフィールドは、シーンのパラメータ化としてカスタマイズされた生成ハッシュグリッドと周期的な位置埋め込みを使用します。さらに、OSM、GoogleEarth、CityTopiaを含む都市生成のための包括的なデータセットを提供します。OSMデータセットはさまざまな実世界の都市レイアウトを提供し、Google EarthとCityTopiaデータセットは、3Dインスタンスの注釈が付いた大規模で高品質な都市画像を提供します。構成的な設計を活用して、CityDreamer4Dは、インスタンス編集、都市のスタイリング、都市シミュレーションなどの様々な応用をサポートし、リアルな4D都市を生成する際の最先端のパフォーマンスを提供します。

English

3D scene generation has garnered growing attention in recent years and has made significant progress. Generating 4D cities is more challenging than 3D scenes due to the presence of structurally complex, visually diverse objects like buildings and vehicles, and heightened human sensitivity to distortions in urban environments. To tackle these issues, we propose CityDreamer4D, a compositional generative model specifically tailored for generating unbounded 4D cities. Our main insights are 1) 4D city generation should separate dynamic objects (e.g., vehicles) from static scenes (e.g., buildings and roads), and 2) all objects in the 4D scene should be composed of different types of neural fields for buildings, vehicles, and background stuff. Specifically, we propose Traffic Scenario Generator and Unbounded Layout Generator to produce dynamic traffic scenarios and static city layouts using a highly compact BEV representation. Objects in 4D cities are generated by combining stuff-oriented and instance-oriented neural fields for background stuff, buildings, and vehicles. To suit the distinct characteristics of background stuff and instances, the neural fields employ customized generative hash grids and periodic positional embeddings as scene parameterizations. Furthermore, we offer a comprehensive suite of datasets for city generation, including OSM, GoogleEarth, and CityTopia. The OSM dataset provides a variety of real-world city layouts, while the Google Earth and CityTopia datasets deliver large-scale, high-quality city imagery complete with 3D instance annotations. Leveraging its compositional design, CityDreamer4D supports a range of downstream applications, such as instance editing, city stylization, and urban simulation, while delivering state-of-the-art performance in generating realistic 4D cities.