3DGS-Enhancer: Verbetering van Onbegrensde 3D Gaussische Splatting met Beeld-consistente 2D Diffusie Priors

3DGS-Enhancer: Enhancing Unbounded 3D Gaussian Splatting with View-consistent 2D Diffusion Priors

October 21, 2024

Auteurs: Xi Liu, Chaoyi Zhou, Siyu Huang

cs.AI

Samenvatting

Het genereren van nieuwe weergaven heeft als doel om nieuwe weergaven van een scène te genereren vanuit meerdere invoerbeelden of video's, en recente ontwikkelingen zoals 3D Gaussisch spatten (3DGS) hebben opmerkelijk succes behaald in het produceren van fotorealistische renderings met efficiënte pipelines. Het genereren van hoogwaardige nieuwe weergaven onder uitdagende omstandigheden, zoals schaarse invoerweergaven, blijft echter moeilijk vanwege onvoldoende informatie in onderbemonsterde gebieden, wat vaak resulteert in opvallende artefacten. Dit artikel presenteert 3DGS-Enhancer, een nieuwe pipeline voor het verbeteren van de representatiekwaliteit van 3DGS-representaties. We maken gebruik van 2D video diffusiepriora om het uitdagende probleem van 3D-weergaveconsistentie aan te pakken, waarbij het wordt geherformuleerd als het bereiken van temporele consistentie binnen een videogeneratieproces. 3DGS-Enhancer herstelt weergave-consistente latente kenmerken van gerenderde nieuwe weergaven en integreert ze met de invoerweergaven door middel van een ruimtelijk-temporele decoder. De verbeterde weergaven worden vervolgens gebruikt om het initiële 3DGS-model bij te stellen, waardoor de renderprestaties aanzienlijk worden verbeterd. Uitgebreide experimenten op grootschalige datasets van onbegrensde scènes tonen aan dat 3DGS-Enhancer superieure reconstructieprestaties en hoogwaardige renderresultaten oplevert in vergelijking met state-of-the-art methoden. De projectwebpagina is https://xiliu8006.github.io/3DGS-Enhancer-project.

English

Novel-view synthesis aims to generate novel views of a scene from multiple input images or videos, and recent advancements like 3D Gaussian splatting (3DGS) have achieved notable success in producing photorealistic renderings with efficient pipelines. However, generating high-quality novel views under challenging settings, such as sparse input views, remains difficult due to insufficient information in under-sampled areas, often resulting in noticeable artifacts. This paper presents 3DGS-Enhancer, a novel pipeline for enhancing the representation quality of 3DGS representations. We leverage 2D video diffusion priors to address the challenging 3D view consistency problem, reformulating it as achieving temporal consistency within a video generation process. 3DGS-Enhancer restores view-consistent latent features of rendered novel views and integrates them with the input views through a spatial-temporal decoder. The enhanced views are then used to fine-tune the initial 3DGS model, significantly improving its rendering performance. Extensive experiments on large-scale datasets of unbounded scenes demonstrate that 3DGS-Enhancer yields superior reconstruction performance and high-fidelity rendering results compared to state-of-the-art methods. The project webpage is https://xiliu8006.github.io/3DGS-Enhancer-project .