CityDreamer4D:无限维4D城市的组合生成模型
CityDreamer4D: Compositional Generative Model of Unbounded 4D Cities
January 15, 2025
作者: Haozhe Xie, Zhaoxi Chen, Fangzhou Hong, Ziwei Liu
cs.AI
摘要
近年来,3D场景生成引起了越来越多的关注并取得了显著进展。生成4D城市比3D场景更具挑战性,因为存在结构复杂、视觉多样的对象,如建筑和车辆,并且人类对城市环境中的扭曲更加敏感。为了解决这些问题,我们提出了CityDreamer4D,这是一种专门为生成无边界4D城市而设计的组合生成模型。我们的主要见解是:1)4D城市生成应该将动态对象(例如车辆)与静态场景(例如建筑和道路)分开;2)4D场景中的所有对象应由不同类型的神经场组成,用于建筑物、车辆和背景物体。具体而言,我们提出了交通场景生成器和无边界布局生成器,使用高度紧凑的BEV表示来生成动态交通场景和静态城市布局。4D城市中的对象是通过将针对背景物体、建筑物和车辆的面向物体和面向实例的神经场相结合来生成的。为了适应背景物体和实例的不同特征,神经场采用定制的生成哈希网格和周期性位置嵌入作为场景参数化。此外,我们提供了一套全面的用于城市生成的数据集,包括OSM、GoogleEarth和CityTopia。OSM数据集提供了各种真实世界的城市布局,而Google Earth和CityTopia数据集提供了大规模、高质量的城市图像,包括3D实例注释。借助其组合设计,CityDreamer4D支持一系列下游应用,如实例编辑、城市风格化和城市模拟,同时在生成逼真的4D城市方面表现出色。
English
3D scene generation has garnered growing attention in recent years and has
made significant progress. Generating 4D cities is more challenging than 3D
scenes due to the presence of structurally complex, visually diverse objects
like buildings and vehicles, and heightened human sensitivity to distortions in
urban environments. To tackle these issues, we propose CityDreamer4D, a
compositional generative model specifically tailored for generating unbounded
4D cities. Our main insights are 1) 4D city generation should separate dynamic
objects (e.g., vehicles) from static scenes (e.g., buildings and roads), and 2)
all objects in the 4D scene should be composed of different types of neural
fields for buildings, vehicles, and background stuff. Specifically, we propose
Traffic Scenario Generator and Unbounded Layout Generator to produce dynamic
traffic scenarios and static city layouts using a highly compact BEV
representation. Objects in 4D cities are generated by combining stuff-oriented
and instance-oriented neural fields for background stuff, buildings, and
vehicles. To suit the distinct characteristics of background stuff and
instances, the neural fields employ customized generative hash grids and
periodic positional embeddings as scene parameterizations. Furthermore, we
offer a comprehensive suite of datasets for city generation, including OSM,
GoogleEarth, and CityTopia. The OSM dataset provides a variety of real-world
city layouts, while the Google Earth and CityTopia datasets deliver
large-scale, high-quality city imagery complete with 3D instance annotations.
Leveraging its compositional design, CityDreamer4D supports a range of
downstream applications, such as instance editing, city stylization, and urban
simulation, while delivering state-of-the-art performance in generating
realistic 4D cities.Summary
AI-Generated Summary
论文概述
本文介绍了CityDreamer4D,一种用于生成无边界4D城市的组合生成模型。该模型通过Traffic Scenario Generator和Unbounded Layout Generator分别生成动态交通场景和静态城市布局,支持实例编辑、城市风格化和城市模拟等应用。使用全面的城市生成数据集,如OSM、GoogleEarth和CityTopia,实现了4D城市的生成,具有优越的能力和实例级别编辑。
核心贡献
- 提出CityDreamer4D,用于生成无边界4D城市的组合生成模型。
- Traffic Scenario Generator和Unbounded Layout Generator分别用于生成动态交通场景和静态城市布局。
- 支持实例级别编辑、城市风格化和城市模拟等下游应用。
研究背景
本研究针对生成无边界4D城市的需求,提出了CityDreamer4D模型。现有研究在动态对象和静态场景生成方面存在局限性,需要更好的方法来实现4D城市的生成。
研究缺口
- 静态场景和动态对象生成的分离问题。
- 缺乏有效的方法生成多样化的4D城市。
技术挑战
- 如何处理动态对象和静态场景的生成。
- 如何保证生成的城市具有多样性和真实感。
先前方法
- 传统方法在生成4D城市方面存在局限性。
- 其他生成模型如SGAM、PersistentNature等在城市生成方面存在一定局限性。
方法论
本文方法采用Traffic Scenario Generator和Unbounded Layout Generator实现4D城市的生成。通过使用不同的神经场生成城市中的对象,包括建筑物、车辆和背景物品,保证了生成的城市具有高保真度和多样性。
理论基础
- 使用神经场来生成城市中的各种对象。
- 利用生成哈希网格和周期性位置编码处理背景物品和实例的特征。
技术架构
- Traffic Scenario Generator和Vehicle Instance Generator用于生成动态对象。
- Unbounded Layout Generator和City Background Generator用于生成静态场景。
实现细节
- 使用高度紧凑的鸟瞰图场景表示确保效率和可扩展性。
- 使用不同损失函数如L1损失、感知损失和GAN损失进行优化。
创新点
- 提出了Traffic Scenario Generator和Unbounded Layout Generator用于生成4D城市。
- 使用生成哈希网格和周期性位置编码处理城市中的背景物品和实例。
实验验证
本文通过实验验证了CityDreamer4D模型的有效性和性能。
设置
- 使用OSM、GoogleEarth和CityTopia等数据集进行实验。
- 使用FID、KID、VBench等指标进行评估。
指标
- 通过FID、KID、VBench等指标评估生成结果的质量。
- 采用定量和定性分析比较不同方法在GoogleEarth和CityTopia数据集上的表现。
结果
- CityDreamer4D在生成无边界、多样化的4D城市方面表现优越。
- 通过Traffic Scenario Generator和Vehicle Instance Generator实现了静态场景和动态对象的分离。
比较分析
- 与SGAM、PersistentNature、SceneDreamer等方法进行了比较。
- 展示了在GoogleEarth和CityTopia数据集上的定量和定性结果。
影响与启示
本文的研究对于4D城市生成领域具有重要意义,并具有以下影响和启示。
关键发现
- CityDreamer4D在生成4D城市方面表现出色。
- 支持实例级别编辑和城市风格化。
限制
- 在夜景中全局照明和反射方面存在局限性。
未来方向
- 进一步改进全局照明和反射效果。
- 探索更多实际应用场景。
实际意义
- 可用于城市规划、自动驾驶等领域的实际应用。
- 提供了详细的城市视觉图像和数据集。
该论文的研究内容涵盖了城市生成模型、数据集应用、实验验证等方面,为4D城市生成领域的发展提供了重要参考。
1比特LLM时代:所有大型语言模型均为1.58比特。The Era of 1-bit LLMs: All Large Language Models are in 1.58 Bits
1比特LLM时代:所有大型语言模型均为1.58比特。
The Era of 1-bit LLMs: All Large Language Models are in 1.58 Bits
Shuming Ma, Hongyu Wang, Lingxiao Ma, Lei Wang, Wenhui Wang, Shaohan Huang, Li Dong, Ruiping Wang, Jilong Xue, Furu Wei•Feb 27, 2024•612142
DeepSeek-R1:通过强化学习激励LLMs中的推理能力DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via
Reinforcement Learning
DeepSeek-R1:通过强化学习激励LLMs中的推理能力
DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via
Reinforcement Learning
DeepSeek-AI, Daya Guo, Dejian Yang, Haowei Zhang, Junxiao Song, Ruoyu Zhang, Runxin Xu, Qihao Zhu, Shirong Ma, Peiyi Wang, Xiao Bi, Xiaokang Zhang, Xingkai Yu, Yu Wu, Z. F. Wu, Zhibin Gou, Zhihong Shao, Zhuoshu Li, Ziyi Gao, Aixin Liu, Bing Xue, Bingxuan Wang, Bochao Wu, Bei Feng, Chengda Lu, Chenggang Zhao, Chengqi Deng, Chenyu Zhang, Chong Ruan, Damai Dai, Deli Chen, Dongjie Ji, Erhang Li, Fangyun Lin, Fucong Dai, Fuli Luo, Guangbo Hao, Guanting Chen, Guowei Li, H. Zhang, Han Bao, Hanwei Xu, Haocheng Wang, Honghui Ding, Huajian Xin, Huazuo Gao, Hui Qu, Hui Li, Jianzhong Guo, Jiashi Li, Jiawei Wang, Jingchang Chen, Jingyang Yuan, Junjie Qiu, Junlong Li, J. L. Cai, Jiaqi Ni, Jian Liang, Jin Chen, Kai Dong, Kai Hu, Kaige Gao, Kang Guan, Kexin Huang, Kuai Yu, Lean Wang, Lecong Zhang, Liang Zhao, Litong Wang, Liyue Zhang, Lei Xu, Leyi Xia, Mingchuan Zhang, Minghua Zhang, Minghui Tang, Meng Li, Miaojun Wang, Mingming Li, Ning Tian, Panpan Huang, Peng Zhang, Qiancheng Wang, Qinyu Chen, Qiushi Du, Ruiqi Ge, Ruisong Zhang, Ruizhe Pan, Runji Wang, R. J. Chen, R. L. Jin, Ruyi Chen, Shanghao Lu, Shangyan Zhou, Shanhuang Chen, Shengfeng Ye, Shiyu Wang, Shuiping Yu, Shunfeng Zhou, Shuting Pan, S. S. Li, Shuang Zhou, Shaoqing Wu, Shengfeng Ye, Tao Yun, Tian Pei, Tianyu Sun, T. Wang, Wangding Zeng, Wanjia Zhao, Wen Liu, Wenfeng Liang, Wenjun Gao, Wenqin Yu, Wentao Zhang, W. L. Xiao, Wei An, Xiaodong Liu, Xiaohan Wang, Xiaokang Chen, Xiaotao Nie, Xin Cheng, Xin Liu, Xin Xie, Xingchao Liu, Xinyu Yang, Xinyuan Li, Xuecheng Su, Xuheng Lin, X. Q. Li, Xiangyue Jin, Xiaojin Shen, Xiaosha Chen, Xiaowen Sun, Xiaoxiang Wang, Xinnan Song, Xinyi Zhou, Xianzu Wang, Xinxia Shan, Y. K. Li, Y. Q. Wang, Y. X. Wei, Yang Zhang, Yanhong Xu, Yao Li, Yao Zhao, Yaofeng Sun, Yaohui Wang, Yi Yu, Yichao Zhang, Yifan Shi, Yiliang Xiong, Ying He, Yishi Piao, Yisong Wang, Yixuan Tan, Yiyang Ma, Yiyuan Liu, Yongqiang Guo, Yuan Ou, Yuduan Wang, Yue Gong, Yuheng Zou, Yujia He, Yunfan Xiong, Yuxiang Luo, Yuxiang You, Yuxuan Liu, Yuyang Zhou, Y. X. Zhu, Yanhong Xu, Yanping Huang, Yaohui Li, Yi Zheng, Yuchen Zhu, Yunxian Ma, Ying Tang, Yukun Zha, Yuting Yan, Z. Z. Ren, Zehui Ren, Zhangli Sha, Zhe Fu, Zhean Xu, Zhenda Xie, Zhengyan Zhang, Zhewen Hao, Zhicheng Ma, Zhigang Yan, Zhiyu Wu, Zihui Gu, Zijia Zhu, Zijun Liu, Zilin Li, Ziwei Xie, Ziyang Song, Zizheng Pan, Zhen Huang, Zhipeng Xu, Zhongyu Zhang, Zhen Zhang•Jan 22, 2025•3685
Qwen2.5 技术报告Qwen2.5 Technical Report
Qwen2.5 技术报告
Qwen2.5 Technical Report
Qwen, An Yang, Baosong Yang, Beichen Zhang, Binyuan Hui, Bo Zheng, Bowen Yu, Chengyuan Li, Dayiheng Liu, Fei Huang, Haoran Wei, Huan Lin, Jian Yang, Jianhong Tu, Jianwei Zhang, Jianxin Yang, Jiaxi Yang, Jingren Zhou, Junyang Lin, Kai Dang, Keming Lu, Keqin Bao, Kexin Yang, Le Yu, Mei Li, Mingfeng Xue, Pei Zhang, Qin Zhu, Rui Men, Runji Lin, Tianhao Li, Tingyu Xia, Xingzhang Ren, Xuancheng Ren, Yang Fan, Yang Su, Yichang Zhang, Yu Wan, Yuqiong Liu, Zeyu Cui, Zhenru Zhang, Zihan Qiu•Dec 19, 2024•36311