DynamicCity: Groß angelegte LiDAR-Erzeugung aus dynamischen Szenen

DynamicCity: Large-Scale LiDAR Generation from Dynamic Scenes

October 23, 2024

Autoren: Hengwei Bian, Lingdong Kong, Haozhe Xie, Liang Pan, Yu Qiao, Ziwei Liu

cs.AI

Zusammenfassung

Die LiDAR-Szenengenerierung hat sich in letzter Zeit rasant entwickelt. Allerdings konzentrieren sich bestehende Methoden hauptsächlich auf die Erzeugung statischer und einzelner Szenen, wobei die inhärent dynamische Natur realer Fahrumgebungen übersehen wird. In dieser Arbeit stellen wir DynamicCity vor, ein neuartiges 4D-LiDAR-Generierungsframework, das in der Lage ist, groß angelegte, qualitativ hochwertige LiDAR-Szenen zu erzeugen, die die zeitliche Entwicklung dynamischer Umgebungen erfassen. DynamicCity besteht hauptsächlich aus zwei Schlüsselmodellen. 1) Ein VAE-Modell zum Erlernen von HexPlane als kompakte 4D-Repräsentation. Anstelle von einfachen Durchschnittsoperationen verwendet DynamicCity ein neuartiges Projektionsmodul, um 4D-LiDAR-Merkmale effektiv in sechs 2D-Merkmalskarten für den HexPlane-Aufbau zu komprimieren, was die Qualität der HexPlane-Anpassung signifikant verbessert (bis zu 12,56 mIoU-Gewinn). Darüber hinaus nutzen wir eine Expansions- und Squeeze-Strategie zur parallelen Rekonstruktion von 3D-Merkmalsvolumina, was sowohl die Effizienz des Netzwerktrainings als auch die Rekonstruktionsgenauigkeit im Vergleich zur naiven Abfrage jedes 3D-Punktes verbessert (bis zu 7,05 mIoU-Gewinn, 2,06-fache Beschleunigung des Trainings und 70,84% Speicherreduktion). 2) Ein DiT-basiertes Diffusionsmodell zur HexPlane-Generierung. Um HexPlane für die DiT-Generierung möglich zu machen, wird eine gepolsterte Rollout-Operation vorgeschlagen, um alle sechs Merkmalsebenen des HexPlane als quadratische 2D-Merkmalskarte neu zu organisieren. Insbesondere können verschiedene Bedingungen im Diffusions- oder Abtastprozess eingeführt werden, um vielseitige 4D-Generierungsanwendungen zu unterstützen, wie beispielsweise trajektorien- und befehlsbasierte Generierung, Inpainting und layoutbedingte Generierung. Umfangreiche Experimente mit den Datensätzen CarlaSC und Waymo zeigen, dass DynamicCity gegenüber bestehenden state-of-the-art 4D-LiDAR-Generierungsmethoden in mehreren Metriken signifikant überlegen ist. Der Code wird veröffentlicht, um zukünftige Forschung zu erleichtern.

English

LiDAR scene generation has been developing rapidly recently. However, existing methods primarily focus on generating static and single-frame scenes, overlooking the inherently dynamic nature of real-world driving environments. In this work, we introduce DynamicCity, a novel 4D LiDAR generation framework capable of generating large-scale, high-quality LiDAR scenes that capture the temporal evolution of dynamic environments. DynamicCity mainly consists of two key models. 1) A VAE model for learning HexPlane as the compact 4D representation. Instead of using naive averaging operations, DynamicCity employs a novel Projection Module to effectively compress 4D LiDAR features into six 2D feature maps for HexPlane construction, which significantly enhances HexPlane fitting quality (up to 12.56 mIoU gain). Furthermore, we utilize an Expansion & Squeeze Strategy to reconstruct 3D feature volumes in parallel, which improves both network training efficiency and reconstruction accuracy than naively querying each 3D point (up to 7.05 mIoU gain, 2.06x training speedup, and 70.84% memory reduction). 2) A DiT-based diffusion model for HexPlane generation. To make HexPlane feasible for DiT generation, a Padded Rollout Operation is proposed to reorganize all six feature planes of the HexPlane as a squared 2D feature map. In particular, various conditions could be introduced in the diffusion or sampling process, supporting versatile 4D generation applications, such as trajectory- and command-driven generation, inpainting, and layout-conditioned generation. Extensive experiments on the CarlaSC and Waymo datasets demonstrate that DynamicCity significantly outperforms existing state-of-the-art 4D LiDAR generation methods across multiple metrics. The code will be released to facilitate future research.