DynamicCity: Groot-Schalige LiDAR-generatie van Dynamische Scènes

DynamicCity: Large-Scale LiDAR Generation from Dynamic Scenes

October 23, 2024

Auteurs: Hengwei Bian, Lingdong Kong, Haozhe Xie, Liang Pan, Yu Qiao, Ziwei Liu

cs.AI

Samenvatting

De ontwikkeling van LiDAR-scene-generatie heeft recentelijk een snelle groei doorgemaakt. Echter, bestaande methoden richten zich voornamelijk op het genereren van statische en enkelvoudige scènes, waarbij de intrinsiek dynamische aard van echte rijomgevingen over het hoofd wordt gezien. In dit werk introduceren we DynamicCity, een nieuw 4D LiDAR-generatiekader dat in staat is om grootschalige, hoogwaardige LiDAR-scènes te genereren die de temporele evolutie van dynamische omgevingen vastleggen. DynamicCity bestaat voornamelijk uit twee belangrijke modellen. 1) Een VAE-model voor het leren van HexPlane als de compacte 4D representatie. In plaats van naïeve gemiddelde bewerkingen te gebruiken, maakt DynamicCity gebruik van een nieuw Projection Module om 4D LiDAR-kenmerken effectief samen te drukken tot zes 2D kenmerkkaarten voor HexPlane-constructie, wat de HexPlane-pasvormkwaliteit aanzienlijk verbetert (tot 12.56 mIoU winst). Bovendien maken we gebruik van een Expansion & Squeeze Strategie om 3D kenmerkvolumes parallel te reconstrueren, wat zowel de efficiëntie van netwerktraining als de reconstructieprecisie verbetert in vergelijking met het naïef bevragen van elk 3D-punt (tot 7.05 mIoU winst, 2.06x versnelling van de trainingssnelheid en 70.84% geheugenvermindering). 2) Een DiT-gebaseerd diffusiemodel voor HexPlane-generatie. Om HexPlane haalbaar te maken voor DiT-generatie, wordt een Padded Rollout Operation voorgesteld om alle zes kenmerkvlakken van de HexPlane te herorganiseren als een vierkante 2D kenmerkkaart. In het bijzonder kunnen verschillende omstandigheden worden geïntroduceerd in het diffusie- of bemonsteringsproces, ter ondersteuning van veelzijdige 4D generatietoepassingen, zoals traject- en opdrachtgestuurde generatie, inpainting en lay-out-geconditioneerde generatie. Uitgebreide experimenten op de CarlaSC- en Waymo-datasets tonen aan dat DynamicCity aanzienlijk beter presteert dan bestaande state-of-the-art 4D LiDAR-generatiemethoden over meerdere metrieken. De code zal worden vrijgegeven om toekomstig onderzoek te vergemakkelijken.

English

LiDAR scene generation has been developing rapidly recently. However, existing methods primarily focus on generating static and single-frame scenes, overlooking the inherently dynamic nature of real-world driving environments. In this work, we introduce DynamicCity, a novel 4D LiDAR generation framework capable of generating large-scale, high-quality LiDAR scenes that capture the temporal evolution of dynamic environments. DynamicCity mainly consists of two key models. 1) A VAE model for learning HexPlane as the compact 4D representation. Instead of using naive averaging operations, DynamicCity employs a novel Projection Module to effectively compress 4D LiDAR features into six 2D feature maps for HexPlane construction, which significantly enhances HexPlane fitting quality (up to 12.56 mIoU gain). Furthermore, we utilize an Expansion & Squeeze Strategy to reconstruct 3D feature volumes in parallel, which improves both network training efficiency and reconstruction accuracy than naively querying each 3D point (up to 7.05 mIoU gain, 2.06x training speedup, and 70.84% memory reduction). 2) A DiT-based diffusion model for HexPlane generation. To make HexPlane feasible for DiT generation, a Padded Rollout Operation is proposed to reorganize all six feature planes of the HexPlane as a squared 2D feature map. In particular, various conditions could be introduced in the diffusion or sampling process, supporting versatile 4D generation applications, such as trajectory- and command-driven generation, inpainting, and layout-conditioned generation. Extensive experiments on the CarlaSC and Waymo datasets demonstrate that DynamicCity significantly outperforms existing state-of-the-art 4D LiDAR generation methods across multiple metrics. The code will be released to facilitate future research.