CityGaussianV2: Efficiënte en Meetkundig Nauwkeurige Reconstructie voor Grote Schaal Scènes

CityGaussianV2: Efficient and Geometrically Accurate Reconstruction for Large-Scale Scenes

November 1, 2024

Auteurs: Yang Liu, Chuanchen Luo, Zhongkai Mao, Junran Peng, Zhaoxiang Zhang

cs.AI

Samenvatting

Recentelijk heeft 3D Gaussian Splatting (3DGS) de reconstructie van stralingsvelden gerevolutioneerd, wat resulteert in efficiënte en hoogwaardige synthese van nieuwe weergaven. Echter, het nauwkeurig representeren van oppervlakken, vooral in grote en complexe scenario's, blijft een aanzienlijke uitdaging vanwege de ongestructureerde aard van 3DGS. In dit artikel presenteren we CityGaussianV2, een nieuwe benadering voor reconstructie van scènes op grote schaal die kritieke uitdagingen met betrekking tot geometrische nauwkeurigheid en efficiëntie aanpakt. Voortbouwend op de gunstige generalisatiecapaciteiten van 2D Gaussian Splatting (2DGS), pakken we de convergentie- en schaalbaarheidsproblemen aan. Specifiek implementeren we een gedecomposeerde-gradiënt-gebaseerde verdichtings- en diepteregressietechniek om wazige artefacten te elimineren en de convergentie te versnellen. Om op te schalen introduceren we een verlengingsfilter dat de Gaussische tel-explosie veroorzaakt door 2DGS-degeneratie vermindert. Bovendien optimaliseren we de CityGaussian-pijplijn voor parallelle training, waarbij we tot 10 keer compressie bereiken, minstens 25% besparing in trainingsduur, en een 50% afname in geheugengebruik. We hebben ook standaard geometriebenchmarks vastgesteld onder scènes op grote schaal. Experimentele resultaten tonen aan dat onze methode een veelbelovend evenwicht bereikt tussen visuele kwaliteit, geometrische nauwkeurigheid, evenals opslag- en trainingskosten. De projectpagina is beschikbaar op https://dekuliutesla.github.io/CityGaussianV2/.

English

Recently, 3D Gaussian Splatting (3DGS) has revolutionized radiance field reconstruction, manifesting efficient and high-fidelity novel view synthesis. However, accurately representing surfaces, especially in large and complex scenarios, remains a significant challenge due to the unstructured nature of 3DGS. In this paper, we present CityGaussianV2, a novel approach for large-scale scene reconstruction that addresses critical challenges related to geometric accuracy and efficiency. Building on the favorable generalization capabilities of 2D Gaussian Splatting (2DGS), we address its convergence and scalability issues. Specifically, we implement a decomposed-gradient-based densification and depth regression technique to eliminate blurry artifacts and accelerate convergence. To scale up, we introduce an elongation filter that mitigates Gaussian count explosion caused by 2DGS degeneration. Furthermore, we optimize the CityGaussian pipeline for parallel training, achieving up to 10times compression, at least 25% savings in training time, and a 50% decrease in memory usage. We also established standard geometry benchmarks under large-scale scenes. Experimental results demonstrate that our method strikes a promising balance between visual quality, geometric accuracy, as well as storage and training costs. The project page is available at https://dekuliutesla.github.io/CityGaussianV2/.