MAtCha Gaussians: Atlante di Grafici per Geometria di Alta Qualità e Fotorealismo da Viste Sparse

MAtCha Gaussians: Atlas of Charts for High-Quality Geometry and Photorealism From Sparse Views

December 9, 2024

Autori: Antoine Guédon, Tomoki Ichikawa, Kohei Yamashita, Ko Nishino

cs.AI

Abstract

Presentiamo un nuovo modello di apparenza che realizza simultaneamente il recupero di una mesh superficiale 3D di alta qualità e la sintesi fotorealistica di nuove visualizzazioni da campioni di vista sparsi. La nostra idea chiave è modellare la geometria della scena sottostante Mesh come un Atlante di Mappe che renderizziamo con surfels Gaussiani 2D (MAtCha Gaussians). MAtCha distilla dettagli di superficie ad alta frequenza dalla stima della profondità monoculare disponibile in commercio e la perfeziona attraverso la renderizzazione di surfels Gaussiani. I surfels Gaussiani sono attaccati alle mappe al volo, soddisfacendo il fotorealismo della renderizzazione volumetrica neurale e la geometria nitida di un modello di mesh, ovvero due obiettivi apparentemente contrastanti in un unico modello. Al cuore di MAtCha si trova un nuovo modello di deformazione neurale e una perdita di struttura che preserva i dettagli di superficie fini estratti dalle profondità monoculare apprese affrontando le loro ambiguità di scala fondamentali. I risultati di una valida validazione sperimentale dimostrano la qualità all'avanguardia di MAtCha nella ricostruzione della superficie e nel fotorealismo su livello paragonabile ai migliori concorrenti ma con una drastica riduzione del numero di viste di input e del tempo computazionale. Crediamo che MAtCha possa fungere da strumento fondamentale per qualsiasi applicazione visiva in visione, grafica e robotica che richieda una geometria esplicita oltre al fotorealismo. La nostra pagina del progetto è la seguente: https://anttwo.github.io/matcha/

English

We present a novel appearance model that simultaneously realizes explicit high-quality 3D surface mesh recovery and photorealistic novel view synthesis from sparse view samples. Our key idea is to model the underlying scene geometry Mesh as an Atlas of Charts which we render with 2D Gaussian surfels (MAtCha Gaussians). MAtCha distills high-frequency scene surface details from an off-the-shelf monocular depth estimator and refines it through Gaussian surfel rendering. The Gaussian surfels are attached to the charts on the fly, satisfying photorealism of neural volumetric rendering and crisp geometry of a mesh model, i.e., two seemingly contradicting goals in a single model. At the core of MAtCha lies a novel neural deformation model and a structure loss that preserve the fine surface details distilled from learned monocular depths while addressing their fundamental scale ambiguities. Results of extensive experimental validation demonstrate MAtCha's state-of-the-art quality of surface reconstruction and photorealism on-par with top contenders but with dramatic reduction in the number of input views and computational time. We believe MAtCha will serve as a foundational tool for any visual application in vision, graphics, and robotics that require explicit geometry in addition to photorealism. Our project page is the following: https://anttwo.github.io/matcha/