DynamicCity : Génération à grande échelle de LiDAR à partir de scènes dynamiques

DynamicCity: Large-Scale LiDAR Generation from Dynamic Scenes

October 23, 2024

Auteurs: Hengwei Bian, Lingdong Kong, Haozhe Xie, Liang Pan, Yu Qiao, Ziwei Liu

cs.AI

Résumé

La génération de scènes LiDAR a récemment connu un développement rapide. Cependant, les méthodes existantes se concentrent principalement sur la génération de scènes statiques et monoframes, négligeant la nature intrinsèquement dynamique des environnements de conduite du monde réel. Dans ce travail, nous présentons DynamicCity, un nouveau cadre de génération LiDAR 4D capable de produire des scènes LiDAR à grande échelle et de haute qualité qui capturent l'évolution temporelle des environnements dynamiques. DynamicCity se compose principalement de deux modèles clés. 1) Un modèle VAE pour apprendre HexPlane en tant que représentation 4D compacte. Au lieu d'utiliser des opérations d'average naïves, DynamicCity utilise un nouveau Module de Projection pour comprimer efficacement les caractéristiques LiDAR 4D en six cartes de caractéristiques 2D pour la construction de HexPlane, ce qui améliore significativement la qualité de l'ajustement de HexPlane (jusqu'à un gain de 12,56 mIoU). De plus, nous utilisons une Stratégie d'Expansion & Compression pour reconstruire des volumes de caractéristiques 3D en parallèle, ce qui améliore à la fois l'efficacité de l'entraînement du réseau et la précision de la reconstruction par rapport à une interrogation naïve de chaque point 3D (jusqu'à un gain de 7,05 mIoU, une accélération de l'entraînement de 2,06 fois et une réduction de la mémoire de 70,84%). 2) Un modèle de diffusion basé sur DiT pour la génération de HexPlane. Pour rendre HexPlane réalisable pour la génération DiT, une Opération de Déploiement Rembourrée est proposée pour réorganiser les six plans de caractéristiques de HexPlane en une carte de caractéristiques 2D carrée. En particulier, diverses conditions pourraient être introduites dans le processus de diffusion ou d'échantillonnage, soutenant des applications de génération 4D polyvalentes, telles que la génération basée sur la trajectoire et les commandes, l'inpainting et la génération conditionnée par la disposition. Des expériences approfondies sur les ensembles de données CarlaSC et Waymo démontrent que DynamicCity surpasse significativement les méthodes de génération LiDAR 4D de pointe existantes sur plusieurs métriques. Le code sera publié pour faciliter les recherches futures.

English

LiDAR scene generation has been developing rapidly recently. However, existing methods primarily focus on generating static and single-frame scenes, overlooking the inherently dynamic nature of real-world driving environments. In this work, we introduce DynamicCity, a novel 4D LiDAR generation framework capable of generating large-scale, high-quality LiDAR scenes that capture the temporal evolution of dynamic environments. DynamicCity mainly consists of two key models. 1) A VAE model for learning HexPlane as the compact 4D representation. Instead of using naive averaging operations, DynamicCity employs a novel Projection Module to effectively compress 4D LiDAR features into six 2D feature maps for HexPlane construction, which significantly enhances HexPlane fitting quality (up to 12.56 mIoU gain). Furthermore, we utilize an Expansion & Squeeze Strategy to reconstruct 3D feature volumes in parallel, which improves both network training efficiency and reconstruction accuracy than naively querying each 3D point (up to 7.05 mIoU gain, 2.06x training speedup, and 70.84% memory reduction). 2) A DiT-based diffusion model for HexPlane generation. To make HexPlane feasible for DiT generation, a Padded Rollout Operation is proposed to reorganize all six feature planes of the HexPlane as a squared 2D feature map. In particular, various conditions could be introduced in the diffusion or sampling process, supporting versatile 4D generation applications, such as trajectory- and command-driven generation, inpainting, and layout-conditioned generation. Extensive experiments on the CarlaSC and Waymo datasets demonstrate that DynamicCity significantly outperforms existing state-of-the-art 4D LiDAR generation methods across multiple metrics. The code will be released to facilitate future research.