CityGaussianV2: Effiziente und geometrisch genaue Rekonstruktion für groß angelegte Szenen

CityGaussianV2: Efficient and Geometrically Accurate Reconstruction for Large-Scale Scenes

November 1, 2024

Autoren: Yang Liu, Chuanchen Luo, Zhongkai Mao, Junran Peng, Zhaoxiang Zhang

cs.AI

Zusammenfassung

In letzter Zeit hat die 3D-Gaußsche Splatting (3DGS) die Rekonstruktion von Strahlungsfeldern revolutioniert und zeigt eine effiziente und hochwertige Synthese von neuartigen Ansichten. Die präzise Darstellung von Oberflächen, insbesondere in großen und komplexen Szenarien, bleibt jedoch aufgrund der unstrukturierten Natur von 3DGS eine bedeutende Herausforderung. In diesem Papier präsentieren wir CityGaussianV2, einen neuartigen Ansatz für die Rekonstruktion von groß angelegten Szenen, der kritische Herausforderungen in Bezug auf geometrische Genauigkeit und Effizienz angeht. Aufbauend auf den günstigen Verallgemeinerungsfähigkeiten des 2D-Gaußschen Splatting (2DGS) gehen wir auf seine Konvergenz- und Skalierbarkeitsprobleme ein. Speziell implementieren wir eine auf Zerlegungsgradienten basierende Verdichtungs- und Tiefenregressionstechnik, um unscharfe Artefakte zu beseitigen und die Konvergenz zu beschleunigen. Um die Skalierung zu ermöglichen, führen wir einen Elongationsfilter ein, der die durch die Degeneration von 2DGS verursachte Gaußsche Zählexplosion mildert. Darüber hinaus optimieren wir die CityGaussian-Pipeline für paralleles Training, erreichen eine bis zu 10-fache Kompression, mindestens 25% Zeitersparnis beim Training und eine 50%ige Verringerung des Speicherverbrauchs. Wir haben auch Standardgeometriebenchmarks unter groß angelegten Szenen etabliert. Experimentelle Ergebnisse zeigen, dass unsere Methode eine vielversprechende Balance zwischen visueller Qualität, geometrischer Genauigkeit sowie Speicher- und Trainingskosten bietet. Die Projektseite ist unter https://dekuliutesla.github.io/CityGaussianV2/ verfügbar.

English

Recently, 3D Gaussian Splatting (3DGS) has revolutionized radiance field reconstruction, manifesting efficient and high-fidelity novel view synthesis. However, accurately representing surfaces, especially in large and complex scenarios, remains a significant challenge due to the unstructured nature of 3DGS. In this paper, we present CityGaussianV2, a novel approach for large-scale scene reconstruction that addresses critical challenges related to geometric accuracy and efficiency. Building on the favorable generalization capabilities of 2D Gaussian Splatting (2DGS), we address its convergence and scalability issues. Specifically, we implement a decomposed-gradient-based densification and depth regression technique to eliminate blurry artifacts and accelerate convergence. To scale up, we introduce an elongation filter that mitigates Gaussian count explosion caused by 2DGS degeneration. Furthermore, we optimize the CityGaussian pipeline for parallel training, achieving up to 10times compression, at least 25% savings in training time, and a 50% decrease in memory usage. We also established standard geometry benchmarks under large-scale scenes. Experimental results demonstrate that our method strikes a promising balance between visual quality, geometric accuracy, as well as storage and training costs. The project page is available at https://dekuliutesla.github.io/CityGaussianV2/.