3DGS-Enhancer: 시야 일관성 있는 2D 확산 사전을 활용한 무제한 3D 가우시안 스플래팅 향상

3DGS-Enhancer: Enhancing Unbounded 3D Gaussian Splatting with View-consistent 2D Diffusion Priors

October 21, 2024

저자: Xi Liu, Chaoyi Zhou, Siyu Huang

cs.AI

초록

Novel-view synthesis는 여러 입력 이미지나 비디오에서 장면의 새로운 뷰를 생성하는 것을 목표로 하며, 최근 3D 가우시안 스플래팅(3DGS)과 같은 발전으로 효율적인 파이프라인을 통해 사실적인 렌더링을 성공적으로 구현하였다. 그러나 희소한 입력 뷰와 같은 어려운 환경에서 고품질의 새로운 뷰를 생성하는 것은 여전히 어렵다. 이는 샘플링이 부족한 영역에서 정보가 충분하지 않아 발생하는 문제로, 종종 뚜렷한 아티팩트를 초래한다. 본 논문에서는 3DGS 표현의 품질을 향상시키기 위한 새로운 파이프라인인 3DGS-Enhancer를 제안한다. 우리는 어려운 3D 뷰 일관성 문제를 해결하기 위해 2D 비디오 확산 사전을 활용하여 이를 비디오 생성 과정 내에서 시간적 일관성을 달성하는 것으로 재구성한다. 3DGS-Enhancer는 렌더링된 새로운 뷰의 일관된 잠재적 특징을 복원하고 이를 입력 뷰와 공간-시간 디코더를 통해 통합한다. 향상된 뷰는 초기 3DGS 모델을 세밀하게 조정하는 데 사용되어 렌더링 성능을 크게 향상시킨다. 무한한 장면의 대규모 데이터셋에 대한 광범위한 실험 결과, 3DGS-Enhancer가 최첨단 기법과 비교하여 우수한 재구성 성능과 고품질 렌더링 결과를 제공함을 입증한다. 프로젝트 웹페이지는 https://xiliu8006.github.io/3DGS-Enhancer-project 에서 확인할 수 있다.

English

Novel-view synthesis aims to generate novel views of a scene from multiple input images or videos, and recent advancements like 3D Gaussian splatting (3DGS) have achieved notable success in producing photorealistic renderings with efficient pipelines. However, generating high-quality novel views under challenging settings, such as sparse input views, remains difficult due to insufficient information in under-sampled areas, often resulting in noticeable artifacts. This paper presents 3DGS-Enhancer, a novel pipeline for enhancing the representation quality of 3DGS representations. We leverage 2D video diffusion priors to address the challenging 3D view consistency problem, reformulating it as achieving temporal consistency within a video generation process. 3DGS-Enhancer restores view-consistent latent features of rendered novel views and integrates them with the input views through a spatial-temporal decoder. The enhanced views are then used to fine-tune the initial 3DGS model, significantly improving its rendering performance. Extensive experiments on large-scale datasets of unbounded scenes demonstrate that 3DGS-Enhancer yields superior reconstruction performance and high-fidelity rendering results compared to state-of-the-art methods. The project webpage is https://xiliu8006.github.io/3DGS-Enhancer-project .