MAtCha 가우시안: 희소한 관점으로부터 고품질 지오메트리 및 사실적인 이미지를 위한 차트의 아틀라스

MAtCha Gaussians: Atlas of Charts for High-Quality Geometry and Photorealism From Sparse Views

December 9, 2024

저자: Antoine Guédon, Tomoki Ichikawa, Kohei Yamashita, Ko Nishino

cs.AI

초록

우리는 희소한 시야 샘플로부터 명확한 고품질 3D 표면 메쉬 복구와 사실적인 신규 뷰 합성을 동시에 실현하는 혁신적인 외관 모델을 제시합니다. 우리의 주요 아이디어는 장면 기하학 메쉬를 차트의 아틀라스로 모델링하여 2D 가우시안 서펠로 렌더링하는 것입니다(MAtCha 가우시안). MAtCha는 일반적인 단안 심도 추정기에서 고주파 장면 표면 세부 사항을 증류하고 가우시안 서펠 렌더링을 통해 정제합니다. 가우시안 서펠은 차트에 동적으로 부착되어 신경 기반 부피 렌더링의 사실적인 표현과 메쉬 모델의 명료한 기하학을 충족시키며, 즉, 단일 모델에서 두 가지 상반되는 목표를 달성합니다. MAtCha의 핵심에는 새로운 신경 변형 모델과 학습된 단안 심도에서 증류된 미세 표면 세부 사항을 보존하면서 그들의 기본적인 척도 모호성을 해결하는 구조 손실이 있습니다. 광범위한 실험적 검증 결과는 MAtCha의 표면 재구성과 사실적인 품질이 최고 수준의 경쟁작품과 동등하며 입력 뷰 수와 계산 시간을 현저히 줄인다는 것을 입증합니다. 우리는 MAtCha가 시각, 그래픽 및 로봇학 분야에서 명확한 기하학과 사실적인 표현에 필요한 어떠한 시각적 응용 프로그램에도 기초 도구로서 기능할 것으로 믿습니다. 저희 프로젝트 페이지는 다음과 같습니다: https://anttwo.github.io/matcha/

English

We present a novel appearance model that simultaneously realizes explicit high-quality 3D surface mesh recovery and photorealistic novel view synthesis from sparse view samples. Our key idea is to model the underlying scene geometry Mesh as an Atlas of Charts which we render with 2D Gaussian surfels (MAtCha Gaussians). MAtCha distills high-frequency scene surface details from an off-the-shelf monocular depth estimator and refines it through Gaussian surfel rendering. The Gaussian surfels are attached to the charts on the fly, satisfying photorealism of neural volumetric rendering and crisp geometry of a mesh model, i.e., two seemingly contradicting goals in a single model. At the core of MAtCha lies a novel neural deformation model and a structure loss that preserve the fine surface details distilled from learned monocular depths while addressing their fundamental scale ambiguities. Results of extensive experimental validation demonstrate MAtCha's state-of-the-art quality of surface reconstruction and photorealism on-par with top contenders but with dramatic reduction in the number of input views and computational time. We believe MAtCha will serve as a foundational tool for any visual application in vision, graphics, and robotics that require explicit geometry in addition to photorealism. Our project page is the following: https://anttwo.github.io/matcha/