CityDreamer4D: Композиционная генеративная модель бесконечных 4D городов

CityDreamer4D: Compositional Generative Model of Unbounded 4D Cities

January 15, 2025

Авторы: Haozhe Xie, Zhaoxi Chen, Fangzhou Hong, Ziwei Liu

cs.AI

Аннотация

Генерация трехмерных сцен в последние годы привлекла все больше внимания и достигла значительного прогресса. Создание четырехмерных городов более сложно, чем трехмерных сцен, из-за наличия структурно сложных, визуально разнообразных объектов, таких как здания и транспортные средства, а также повышенной чувствительности человека к искажениям в городской среде. Для решения этих проблем мы предлагаем CityDreamer4D, композиционную генеративную модель, специально разработанную для создания неограниченных четырехмерных городов. Наши основные идеи заключаются в том, что 1) генерация четырехмерного города должна разделять динамические объекты (например, транспортные средства) от статических сцен (например, зданий и дорог), и 2) все объекты в четырехмерной сцене должны состоять из различных типов нейронных полей для зданий, транспортных средств и фоновых элементов. Конкретно, мы предлагаем Генератор Транспортной Ситуации и Генератор Неограниченной Конфигурации для создания динамических транспортных сценариев и статических городских планов с использованием высокоэффективного представления BEV. Объекты в четырехмерных городах создаются путем объединения нейронных полей, ориентированных на элементы и экземпляры, для фоновых элементов, зданий и транспортных средств. Для соответствия особенностям фоновых элементов и экземпляров нейронные поля используют настраиваемые генеративные хэш-сетки и периодические позиционные вложения в качестве параметризаций сцены. Кроме того, мы предлагаем обширный набор наборов данных для генерации городов, включая OSM, GoogleEarth и CityTopia. Набор данных OSM предоставляет разнообразные реальные городские планы, в то время как наборы данных Google Earth и CityTopia предоставляют масштабные изображения городов высокого качества с полными трехмерными аннотациями экземпляров. Благодаря своему композиционному дизайну, CityDreamer4D поддерживает ряд прикладных приложений, таких как редактирование экземпляров, стилизация городов и городская симуляция, обеспечивая при этом передовую производительность в создании реалистичных четырехмерных городов.

English

3D scene generation has garnered growing attention in recent years and has made significant progress. Generating 4D cities is more challenging than 3D scenes due to the presence of structurally complex, visually diverse objects like buildings and vehicles, and heightened human sensitivity to distortions in urban environments. To tackle these issues, we propose CityDreamer4D, a compositional generative model specifically tailored for generating unbounded 4D cities. Our main insights are 1) 4D city generation should separate dynamic objects (e.g., vehicles) from static scenes (e.g., buildings and roads), and 2) all objects in the 4D scene should be composed of different types of neural fields for buildings, vehicles, and background stuff. Specifically, we propose Traffic Scenario Generator and Unbounded Layout Generator to produce dynamic traffic scenarios and static city layouts using a highly compact BEV representation. Objects in 4D cities are generated by combining stuff-oriented and instance-oriented neural fields for background stuff, buildings, and vehicles. To suit the distinct characteristics of background stuff and instances, the neural fields employ customized generative hash grids and periodic positional embeddings as scene parameterizations. Furthermore, we offer a comprehensive suite of datasets for city generation, including OSM, GoogleEarth, and CityTopia. The OSM dataset provides a variety of real-world city layouts, while the Google Earth and CityTopia datasets deliver large-scale, high-quality city imagery complete with 3D instance annotations. Leveraging its compositional design, CityDreamer4D supports a range of downstream applications, such as instance editing, city stylization, and urban simulation, while delivering state-of-the-art performance in generating realistic 4D cities.