셀프스플랫(SelfSplat): 자세 제약이 없고 3D 사전 제약이 없는 일반화 가능한 3D 가우시안 스플래팅

SelfSplat: Pose-Free and 3D Prior-Free Generalizable 3D Gaussian Splatting

November 26, 2024

저자: Gyeongjin Kang, Jisang Yoo, Jihyeon Park, Seungtae Nam, Hyeonsoo Im, Sangheon Shin, Sangpil Kim, Eunbyung Park

cs.AI

초록

우리는 SelfSplat을 제안합니다. 이는 포즈에 자유로운 3D 가우시안 스플래팅 모델로, 포즈가 없는 다중 뷰 이미지로부터의 3D 재구성을 위해 설계되었습니다. 이러한 설정은 지면 실측 데이터의 부족, 학습된 기하학적 정보, 그리고 세부 조정 없이 정확한 3D 재구성을 달성해야 하는 필요로 인해 본질적으로 불명확합니다. 이는 기존 방법이 고품질 결과를 달성하기 어렵게 만듭니다. 우리의 모델은 명시적인 3D 표현을 효과적으로 통합하여 자기 지도 깊이 및 포즈 추정 기술과 결합함으로써 이러한 도전에 대처합니다. 이는 포즈 정확도와 3D 재구성 품질 간의 상호 개선을 이끌어냅니다. 더불어, 매칭 인식 포즈 추정 네트워크와 깊이 세부 조정 모듈을 통합하여 뷰 간 기하학적 일관성을 향상시키고 더 정확하고 안정적인 3D 재구성을 보장합니다. 우리의 방법의 성능을 제시하기 위해 우리는 RealEstate10K, ACID, DL3DV를 포함한 대규모 실제 데이터셋에서 평가했습니다. SelfSplat은 외관 및 기하학 품질 모두에서 이전 최첨단 방법보다 우수한 결과를 달성하며, 강력한 교차 데이터셋 일반화 능력을 보여줍니다. 철저한 제거 연구 및 분석도 우리의 제안된 방법의 효과를 검증합니다. 코드 및 사전 학습된 모델은 https://gynjn.github.io/selfsplat/에서 이용 가능합니다.

English

We propose SelfSplat, a novel 3D Gaussian Splatting model designed to perform pose-free and 3D prior-free generalizable 3D reconstruction from unposed multi-view images. These settings are inherently ill-posed due to the lack of ground-truth data, learned geometric information, and the need to achieve accurate 3D reconstruction without finetuning, making it difficult for conventional methods to achieve high-quality results. Our model addresses these challenges by effectively integrating explicit 3D representations with self-supervised depth and pose estimation techniques, resulting in reciprocal improvements in both pose accuracy and 3D reconstruction quality. Furthermore, we incorporate a matching-aware pose estimation network and a depth refinement module to enhance geometry consistency across views, ensuring more accurate and stable 3D reconstructions. To present the performance of our method, we evaluated it on large-scale real-world datasets, including RealEstate10K, ACID, and DL3DV. SelfSplat achieves superior results over previous state-of-the-art methods in both appearance and geometry quality, also demonstrates strong cross-dataset generalization capabilities. Extensive ablation studies and analysis also validate the effectiveness of our proposed methods. Code and pretrained models are available at https://gynjn.github.io/selfsplat/