CityGaussianV2 : Reconstruction Efficace et Géométriquement Précise pour les Scènes à Grande Échelle

CityGaussianV2: Efficient and Geometrically Accurate Reconstruction for Large-Scale Scenes

November 1, 2024

Auteurs: Yang Liu, Chuanchen Luo, Zhongkai Mao, Junran Peng, Zhaoxiang Zhang

cs.AI

Résumé

Récemment, le Splatting Gaussien en 3D (3DGS) a révolutionné la reconstruction de champs de radiance, se manifestant par une synthèse de nouvelle vue efficace et de haute fidélité. Cependant, la représentation précise des surfaces, notamment dans des scénarios vastes et complexes, reste un défi majeur en raison de la nature non structurée du 3DGS. Dans cet article, nous présentons CityGaussianV2, une nouvelle approche pour la reconstruction de scènes à grande échelle qui aborde les défis critiques liés à la précision géométrique et à l'efficacité. En capitalisant sur les capacités de généralisation favorables du Splatting Gaussien en 2D (2DGS), nous traitons ses problèmes de convergence et de scalabilité. Plus précisément, nous mettons en œuvre une technique de densification basée sur le gradient décomposé et une technique de régression de profondeur pour éliminer les artefacts flous et accélérer la convergence. Pour augmenter l'échelle, nous introduisons un filtre d'allongement qui atténue l'explosion du nombre gaussien causée par la dégénérescence du 2DGS. De plus, nous optimisons le pipeline CityGaussian pour un entraînement parallèle, atteignant une compression jusqu'à 10 fois, au moins 25% d'économies de temps d'entraînement, et une réduction de 50% de l'utilisation de la mémoire. Nous avons également établi des références géométriques standard pour des scènes à grande échelle. Les résultats expérimentaux démontrent que notre méthode trouve un équilibre prometteur entre la qualité visuelle, la précision géométrique, ainsi que les coûts de stockage et d'entraînement. La page du projet est disponible sur https://dekuliutesla.github.io/CityGaussianV2/.

English

Recently, 3D Gaussian Splatting (3DGS) has revolutionized radiance field reconstruction, manifesting efficient and high-fidelity novel view synthesis. However, accurately representing surfaces, especially in large and complex scenarios, remains a significant challenge due to the unstructured nature of 3DGS. In this paper, we present CityGaussianV2, a novel approach for large-scale scene reconstruction that addresses critical challenges related to geometric accuracy and efficiency. Building on the favorable generalization capabilities of 2D Gaussian Splatting (2DGS), we address its convergence and scalability issues. Specifically, we implement a decomposed-gradient-based densification and depth regression technique to eliminate blurry artifacts and accelerate convergence. To scale up, we introduce an elongation filter that mitigates Gaussian count explosion caused by 2DGS degeneration. Furthermore, we optimize the CityGaussian pipeline for parallel training, achieving up to 10times compression, at least 25% savings in training time, and a 50% decrease in memory usage. We also established standard geometry benchmarks under large-scale scenes. Experimental results demonstrate that our method strikes a promising balance between visual quality, geometric accuracy, as well as storage and training costs. The project page is available at https://dekuliutesla.github.io/CityGaussianV2/.