3DGS-Enhancer: Verbesserung der unbeschränkten 3D-Gauß-Splatting mit ansichtskonsistenten 2D-Diffusionsprioritäten

3DGS-Enhancer: Enhancing Unbounded 3D Gaussian Splatting with View-consistent 2D Diffusion Priors

October 21, 2024

Autoren: Xi Liu, Chaoyi Zhou, Siyu Huang

cs.AI

Zusammenfassung

Die Neuansichtssynthese zielt darauf ab, neue Ansichten einer Szene aus mehreren Eingabebildern oder -videos zu generieren, und jüngste Fortschritte wie das 3D-Gaußsche Splatting (3DGS) haben beachtlichen Erfolg bei der Erzeugung fotorealistischer Renderings mit effizienten Pipelines erzielt. Die Generierung hochwertiger neuer Ansichten unter anspruchsvollen Bedingungen, wie z.B. spärlichen Eingangsansichten, bleibt jedoch aufgrund unzureichender Informationen in unterabgetasteten Bereichen schwierig, was häufig zu sichtbaren Artefakten führt. Dieses Paper stellt 3DGS-Enhancer vor, eine neue Pipeline zur Verbesserung der Repräsentationsqualität von 3DGS-Darstellungen. Wir nutzen 2D-Video-Diffusionsprioritäten, um das herausfordernde Problem der 3D-Ansichtskonsistenz anzugehen, indem wir es als Erreichen einer zeitlichen Konsistenz innerhalb eines Videoerstellungsprozesses umformulieren. 3DGS-Enhancer stellt ansichtskonsistente latente Merkmale gerenderter neuer Ansichten wieder her und integriert sie mit den Eingangsansichten durch einen räumlich-zeitlichen Decoder. Die verbesserten Ansichten werden dann verwendet, um das anfängliche 3DGS-Modell feinabzustimmen und seine Rendering-Leistung signifikant zu verbessern. Umfangreiche Experimente an groß angelegten Datensätzen unbeschränkter Szenen zeigen, dass 3DGS-Enhancer im Vergleich zu State-of-the-Art-Methoden eine überlegene Rekonstruktionsleistung und hochwertige Rendering-Ergebnisse liefert. Die Projektwebseite ist https://xiliu8006.github.io/3DGS-Enhancer-project.

English

Novel-view synthesis aims to generate novel views of a scene from multiple input images or videos, and recent advancements like 3D Gaussian splatting (3DGS) have achieved notable success in producing photorealistic renderings with efficient pipelines. However, generating high-quality novel views under challenging settings, such as sparse input views, remains difficult due to insufficient information in under-sampled areas, often resulting in noticeable artifacts. This paper presents 3DGS-Enhancer, a novel pipeline for enhancing the representation quality of 3DGS representations. We leverage 2D video diffusion priors to address the challenging 3D view consistency problem, reformulating it as achieving temporal consistency within a video generation process. 3DGS-Enhancer restores view-consistent latent features of rendered novel views and integrates them with the input views through a spatial-temporal decoder. The enhanced views are then used to fine-tune the initial 3DGS model, significantly improving its rendering performance. Extensive experiments on large-scale datasets of unbounded scenes demonstrate that 3DGS-Enhancer yields superior reconstruction performance and high-fidelity rendering results compared to state-of-the-art methods. The project webpage is https://xiliu8006.github.io/3DGS-Enhancer-project .