MVGS: 새로운 뷰 합성을 위한 다중 뷰 조절 가우시안 스플래팅

MVGS: Multi-view-regulated Gaussian Splatting for Novel View Synthesis

October 2, 2024

저자: Xiaobiao Du, Yida Wang, Xin Yu

cs.AI

초록

최근의 볼륨 렌더링 연구인 NeRF와 3D 가우시안 스플래팅(3DGS)은 학습된 암시적 신경 방사형 필드 또는 3D 가우시안을 활용하여 렌더링 품질과 효율성을 크게 향상시켰습니다. 명시적 표현 위에 렌더링을 수행하는 바닐라 3DGS 및 해당 변형은 NeRF에서 채택된 단일 뷰 감독을 통해 훈련 중 매 반복마다 매개변수 모델을 최적화함으로써 실시간 효율성을 제공합니다. 결과적으로 특정 뷰가 과적합되어 새로운 뷰 합성 및 정확하지 않은 3D 기하학적 모양으로 이어지는 불만족스러운 외관을 초래합니다. 상기 문제를 해결하기 위해 우리는 네 가지 주요 새로운 기여를 내포한 새로운 3DGS 최적화 방법을 제안합니다: 1) 기존의 단일 뷰 훈련 패러다임을 다중 뷰 훈련 전략으로 변형합니다. 우리가 제안한 다중 뷰 규제로, 3D 가우시안 속성이 특정 훈련 뷰에 과적합되지 않고 더욱 최적화됩니다. 일반적인 해결책으로, 우리는 다양한 시나리오 및 다른 가우시안 변형에서 전반적인 정확도를 향상시킵니다. 2) 추가 뷰가 도입된 혜택에서 영감을 받아, 우리는 다양한 해상도에 관한 코스 투 파인 훈련 절차를 이끌어내는 교차 내재 가이드 체계를 제안합니다. 3) 우리의 다중 뷰 규제 훈련을 기반으로, 우리는 교차 광선 조밀화 전략을 제안하여 선택된 뷰들로부터 광선 교차 지역에 더 많은 가우시안 커널을 조밀화합니다. 4) 조밀화 전략을 더 탐구한 결과, 특정 뷰가 현저하게 다를 때 조밀화 효과를 강화해야 함을 발견했습니다. 이에 대한 해결책으로, 3D 가우시안이 충분한 수로 조밀화되도록 장려하는 새로운 다중 뷰 증강 조밀화 전략을 제안합니다. 결과적으로 재구성 정확도가 향상됩니다.

English

Recent works in volume rendering, e.g. NeRF and 3D Gaussian Splatting (3DGS), significantly advance the rendering quality and efficiency with the help of the learned implicit neural radiance field or 3D Gaussians. Rendering on top of an explicit representation, the vanilla 3DGS and its variants deliver real-time efficiency by optimizing the parametric model with single-view supervision per iteration during training which is adopted from NeRF. Consequently, certain views are overfitted, leading to unsatisfying appearance in novel-view synthesis and imprecise 3D geometries. To solve aforementioned problems, we propose a new 3DGS optimization method embodying four key novel contributions: 1) We transform the conventional single-view training paradigm into a multi-view training strategy. With our proposed multi-view regulation, 3D Gaussian attributes are further optimized without overfitting certain training views. As a general solution, we improve the overall accuracy in a variety of scenarios and different Gaussian variants. 2) Inspired by the benefit introduced by additional views, we further propose a cross-intrinsic guidance scheme, leading to a coarse-to-fine training procedure concerning different resolutions. 3) Built on top of our multi-view regulated training, we further propose a cross-ray densification strategy, densifying more Gaussian kernels in the ray-intersect regions from a selection of views. 4) By further investigating the densification strategy, we found that the effect of densification should be enhanced when certain views are distinct dramatically. As a solution, we propose a novel multi-view augmented densification strategy, where 3D Gaussians are encouraged to get densified to a sufficient number accordingly, resulting in improved reconstruction accuracy.