CityGaussianV2: 대규모 장면을 위한 효율적이고 기하학적으로 정확한 재구성

CityGaussianV2: Efficient and Geometrically Accurate Reconstruction for Large-Scale Scenes

November 1, 2024

저자: Yang Liu, Chuanchen Luo, Zhongkai Mao, Junran Peng, Zhaoxiang Zhang

cs.AI

초록

최근에는 3D 가우시안 스플래팅(3DGS)이 광도 필드 재구성을 혁신적으로 바꾸어 새로운 시점 합성을 효율적이고 고품질로 구현하고 있습니다. 그러나 특히 대규모 및 복잡한 시나리오에서 표면을 정확하게 표현하는 것은 3DGS의 비구조적 특성으로 인해 여전히 중요한 도전 과제입니다. 본 논문에서는 기하학적 정확도와 효율성과 관련된 중요한 과제에 대응하는 대규모 장면 재구성을 위한 새로운 접근 방식인 CityGaussianV2를 제안합니다. 2D 가우시안 스플래팅(2DGS)의 유리한 일반화 능력을 기반으로 하여 수렴 및 확장성 문제를 다루고 있습니다. 구체적으로, 흐릿한 아티팩트를 제거하고 수렴을 가속화하기 위해 분해된 기울기 기반의 밀집화 및 깊이 회귀 기술을 구현합니다. 규모를 확장하기 위해 2DGS의 퇴화로 인한 가우시안 카운트 폭발을 완화하는 연장 필터를 도입합니다. 더불어, 병렬 훈련을 위해 CityGaussian 파이프라인을 최적화하여 최대 10배의 압축, 훈련 시간에서 최소 25%의 절약, 그리고 메모리 사용량에서 50%의 감소를 달성합니다. 또한 대규모 장면에서 표준 기하학 벤치마크를 수립했습니다. 실험 결과는 우리의 방법이 시각적 품질, 기하학적 정확도, 저장 및 훈련 비용 사이에 유망한 균형을 이룬다는 것을 보여줍니다. 프로젝트 페이지는 https://dekuliutesla.github.io/CityGaussianV2/에서 확인할 수 있습니다.

English

Recently, 3D Gaussian Splatting (3DGS) has revolutionized radiance field reconstruction, manifesting efficient and high-fidelity novel view synthesis. However, accurately representing surfaces, especially in large and complex scenarios, remains a significant challenge due to the unstructured nature of 3DGS. In this paper, we present CityGaussianV2, a novel approach for large-scale scene reconstruction that addresses critical challenges related to geometric accuracy and efficiency. Building on the favorable generalization capabilities of 2D Gaussian Splatting (2DGS), we address its convergence and scalability issues. Specifically, we implement a decomposed-gradient-based densification and depth regression technique to eliminate blurry artifacts and accelerate convergence. To scale up, we introduce an elongation filter that mitigates Gaussian count explosion caused by 2DGS degeneration. Furthermore, we optimize the CityGaussian pipeline for parallel training, achieving up to 10times compression, at least 25% savings in training time, and a 50% decrease in memory usage. We also established standard geometry benchmarks under large-scale scenes. Experimental results demonstrate that our method strikes a promising balance between visual quality, geometric accuracy, as well as storage and training costs. The project page is available at https://dekuliutesla.github.io/CityGaussianV2/.