3DGS-Enhancer : Amélioration de la projection gaussienne 3D illimitée avec des priorités de diffusion 2D cohérentes avec la vue

3DGS-Enhancer: Enhancing Unbounded 3D Gaussian Splatting with View-consistent 2D Diffusion Priors

October 21, 2024

Auteurs: Xi Liu, Chaoyi Zhou, Siyu Huang

cs.AI

Résumé

La synthèse de vue nouvelle vise à générer de nouvelles vues d'une scène à partir de plusieurs images ou vidéos d'entrée, et des avancées récentes telles que le "3D Gaussian splatting" (3DGS) ont atteint un succès notable dans la production de rendus photoréalistes avec des pipelines efficaces. Cependant, générer des vues nouvelles de haute qualité dans des conditions difficiles, telles que des vues d'entrée éparses, reste difficile en raison d'un manque d'informations dans les zones sous-échantillonnées, entraînant souvent des artefacts visibles. Cet article présente 3DGS-Enhancer, un nouveau pipeline pour améliorer la qualité de représentation des représentations 3DGS. Nous exploitons des a priori de diffusion vidéo 2D pour résoudre le problème difficile de la cohérence des vues 3D, le reformulant comme l'atteinte d'une cohérence temporelle dans un processus de génération vidéo. 3DGS-Enhancer restaure les caractéristiques latentes cohérentes des vues nouvelles rendues et les intègre avec les vues d'entrée à travers un décodeur spatial-temporel. Les vues améliorées sont ensuite utilisées pour affiner le modèle 3DGS initial, améliorant significativement ses performances de rendu. Des expériences approfondies sur des ensembles de données à grande échelle de scènes illimitées démontrent que 3DGS-Enhancer offre des performances de reconstruction supérieures et des résultats de rendu haute fidélité par rapport aux méthodes de pointe. La page web du projet est https://xiliu8006.github.io/3DGS-Enhancer-project.

English

Novel-view synthesis aims to generate novel views of a scene from multiple input images or videos, and recent advancements like 3D Gaussian splatting (3DGS) have achieved notable success in producing photorealistic renderings with efficient pipelines. However, generating high-quality novel views under challenging settings, such as sparse input views, remains difficult due to insufficient information in under-sampled areas, often resulting in noticeable artifacts. This paper presents 3DGS-Enhancer, a novel pipeline for enhancing the representation quality of 3DGS representations. We leverage 2D video diffusion priors to address the challenging 3D view consistency problem, reformulating it as achieving temporal consistency within a video generation process. 3DGS-Enhancer restores view-consistent latent features of rendered novel views and integrates them with the input views through a spatial-temporal decoder. The enhanced views are then used to fine-tune the initial 3DGS model, significantly improving its rendering performance. Extensive experiments on large-scale datasets of unbounded scenes demonstrate that 3DGS-Enhancer yields superior reconstruction performance and high-fidelity rendering results compared to state-of-the-art methods. The project webpage is https://xiliu8006.github.io/3DGS-Enhancer-project .