CityGaussianV2: Ricostruzione Efficientemente Accurata dal Punto di Vista Geometrico per Scene su Larga Scala

CityGaussianV2: Efficient and Geometrically Accurate Reconstruction for Large-Scale Scenes

November 1, 2024
Autori: Yang Liu, Chuanchen Luo, Zhongkai Mao, Junran Peng, Zhaoxiang Zhang
cs.AI

Abstract

Di recente, lo Splatting Gaussiano 3D (3DGS) ha rivoluzionato la ricostruzione del campo di radianza, manifestando una sintesi di nuove visuali efficiente e ad alta fedeltà. Tuttavia, rappresentare accuratamente le superfici, specialmente in scenari grandi e complessi, rimane una sfida significativa a causa della natura non strutturata del 3DGS. In questo articolo, presentiamo CityGaussianV2, un nuovo approccio per la ricostruzione di scene su larga scala che affronta sfide critiche legate all'accuratezza geometrica e all'efficienza. Sfruttando le capacità di generalizzazione favorevoli dello Splatting Gaussiano 2D (2DGS), affrontiamo i suoi problemi di convergenza e scalabilità. In particolare, implementiamo una tecnica di densificazione basata su gradienti decomposti e regressione della profondità per eliminare artefatti sfocati e accelerare la convergenza. Per scalare, introduciamo un filtro di allungamento che mitiga l'esplosione del conteggio gaussiano causata dalla degenerazione del 2DGS. Inoltre, ottimizziamo il pipeline di CityGaussian per l'addestramento parallelo, ottenendo una compressione fino a 10 volte, almeno il 25% di risparmio nel tempo di addestramento e una diminuzione del 50% nell'uso della memoria. Abbiamo anche stabilito benchmark geometrici standard in scenari su larga scala. I risultati sperimentali dimostrano che il nostro metodo trova un equilibrio promettente tra qualità visiva, accuratezza geometrica, così come costi di archiviazione e addestramento. La pagina del progetto è disponibile su https://dekuliutesla.github.io/CityGaussianV2/.
English
Recently, 3D Gaussian Splatting (3DGS) has revolutionized radiance field reconstruction, manifesting efficient and high-fidelity novel view synthesis. However, accurately representing surfaces, especially in large and complex scenarios, remains a significant challenge due to the unstructured nature of 3DGS. In this paper, we present CityGaussianV2, a novel approach for large-scale scene reconstruction that addresses critical challenges related to geometric accuracy and efficiency. Building on the favorable generalization capabilities of 2D Gaussian Splatting (2DGS), we address its convergence and scalability issues. Specifically, we implement a decomposed-gradient-based densification and depth regression technique to eliminate blurry artifacts and accelerate convergence. To scale up, we introduce an elongation filter that mitigates Gaussian count explosion caused by 2DGS degeneration. Furthermore, we optimize the CityGaussian pipeline for parallel training, achieving up to 10times compression, at least 25% savings in training time, and a 50% decrease in memory usage. We also established standard geometry benchmarks under large-scale scenes. Experimental results demonstrate that our method strikes a promising balance between visual quality, geometric accuracy, as well as storage and training costs. The project page is available at https://dekuliutesla.github.io/CityGaussianV2/.

Summary

AI-Generated Summary

PDF92November 13, 2024