DynamicCity: 동적 장면으로부터 대규모 LiDAR 생성

DynamicCity: Large-Scale LiDAR Generation from Dynamic Scenes

October 23, 2024

저자: Hengwei Bian, Lingdong Kong, Haozhe Xie, Liang Pan, Yu Qiao, Ziwei Liu

cs.AI

초록

최근 LiDAR 장면 생성 기술은 급속히 발전해 왔습니다. 그러나 기존 방법은 주로 정적이고 단일 프레임 장면 생성에 초점을 맞추어 실제 운전 환경의 본질적으로 동적인 성격을 간과했습니다. 본 논문에서는 시간적 진화를 포착하는 대규모 고품질 LiDAR 장면을 생성할 수 있는 새로운 4D LiDAR 생성 프레임워크인 DynamicCity를 소개합니다. DynamicCity는 주로 두 가지 주요 모델로 구성됩니다. 1) HexPlane을 압축된 4D 표현으로 학습하기 위한 VAE 모델입니다. DynamicCity는 단순 평균 연산 대신 4D LiDAR 특징을 유효하게 압축하기 위해 새로운 Projection Module을 사용하여 HexPlane 구성을 위해 6개의 2D 특징 맵으로 압축합니다. 이는 HexPlane 적합성 품질을 크게 향상시킵니다(최대 12.56 mIoU 향상). 더 나아가, 우리는 3D 특징 볼륨을 병렬로 재구성하기 위해 Expansion & Squeeze 전략을 활용하여 네트워크 훈련 효율성과 재구성 정확도를 개선합니다(최대 7.05 mIoU 향상, 2.06배 훈련 속도 향상 및 70.84% 메모리 절감). 2) HexPlane 생성을 위한 DiT 기반 확산 모델입니다. DiT 생성을 위해 HexPlane을 가능하게 하기 위해 Padded Rollout Operation이 제안되어 HexPlane의 6개 특징 평면을 제곱형 2D 특징 맵으로 재구성합니다. 특히, 다양한 조건이 확산 또는 샘플링 과정에서 도입될 수 있으며, 궤적 및 명령 주도 생성, 인페인팅 및 레이아웃 조건부 생성과 같은 다양한 4D 생성 응용에 지원됩니다. CarlaSC 및 Waymo 데이터셋에서 수행된 다양한 실험 결과, DynamicCity가 다양한 메트릭을 통해 기존 최첨단 4D LiDAR 생성 방법을 크게 능가함을 입증했습니다. 코드는 향후 연구를 용이하게 하기 위해 공개될 예정입니다.

English

LiDAR scene generation has been developing rapidly recently. However, existing methods primarily focus on generating static and single-frame scenes, overlooking the inherently dynamic nature of real-world driving environments. In this work, we introduce DynamicCity, a novel 4D LiDAR generation framework capable of generating large-scale, high-quality LiDAR scenes that capture the temporal evolution of dynamic environments. DynamicCity mainly consists of two key models. 1) A VAE model for learning HexPlane as the compact 4D representation. Instead of using naive averaging operations, DynamicCity employs a novel Projection Module to effectively compress 4D LiDAR features into six 2D feature maps for HexPlane construction, which significantly enhances HexPlane fitting quality (up to 12.56 mIoU gain). Furthermore, we utilize an Expansion & Squeeze Strategy to reconstruct 3D feature volumes in parallel, which improves both network training efficiency and reconstruction accuracy than naively querying each 3D point (up to 7.05 mIoU gain, 2.06x training speedup, and 70.84% memory reduction). 2) A DiT-based diffusion model for HexPlane generation. To make HexPlane feasible for DiT generation, a Padded Rollout Operation is proposed to reorganize all six feature planes of the HexPlane as a squared 2D feature map. In particular, various conditions could be introduced in the diffusion or sampling process, supporting versatile 4D generation applications, such as trajectory- and command-driven generation, inpainting, and layout-conditioned generation. Extensive experiments on the CarlaSC and Waymo datasets demonstrate that DynamicCity significantly outperforms existing state-of-the-art 4D LiDAR generation methods across multiple metrics. The code will be released to facilitate future research.