Het integreren van Gaussische Splatting in de Diffusie Denoiser voor snelle en schaalbare Eéntraps Beeld-naar-3D Generatie

Baking Gaussian Splatting into Diffusion Denoiser for Fast and Scalable Single-stage Image-to-3D Generation

November 21, 2024

Auteurs: Yuanhao Cai, He Zhang, Kai Zhang, Yixun Liang, Mengwei Ren, Fujun Luan, Qing Liu, Soo Ye Kim, Jianming Zhang, Zhifei Zhang, Yuqian Zhou, Zhe Lin, Alan Yuille

cs.AI

Samenvatting

Bestaande feed-forward beeld-naar-3D methoden vertrouwen voornamelijk op 2D multi-view diffusiemodellen die geen 3D consistentie kunnen garanderen. Deze methoden storten gemakkelijk in bij het veranderen van de kijkrichting en behandelen voornamelijk object-gecentreerde invoerbeelden. In dit artikel stellen we een nieuw single-stage 3D diffusiemodel voor, DiffusionGS, voor object- en scène-generatie vanuit één weergave. DiffusionGS geeft direct 3D Gaussische puntwolken uit bij elke tijdstap om kijkconsistentie af te dwingen en het model in staat te stellen robuust te genereren bij invoerweergaven van alle richtingen, voorbij object-gecentreerde invoer. Bovendien, om de capaciteit en generalisatievermogen van DiffusionGS te verbeteren, schalen we 3D trainingsgegevens op door een scène-object gemengde trainingsstrategie te ontwikkelen. Experimenten tonen aan dat onze methode geniet van betere generatiekwaliteit (2.20 dB hoger in PSNR en 23.25 lager in FID) en meer dan 5x snellere snelheid (~6s op een A100 GPU) dan toonaangevende methoden. De gebruikersstudie en tekst-naar-3D toepassingen onthullen ook de praktische waarden van onze methode. Onze Projectpagina op https://caiyuanhao1998.github.io/project/DiffusionGS/ toont de video- en interactieve generatieresultaten.

English

Existing feed-forward image-to-3D methods mainly rely on 2D multi-view diffusion models that cannot guarantee 3D consistency. These methods easily collapse when changing the prompt view direction and mainly handle object-centric prompt images. In this paper, we propose a novel single-stage 3D diffusion model, DiffusionGS, for object and scene generation from a single view. DiffusionGS directly outputs 3D Gaussian point clouds at each timestep to enforce view consistency and allow the model to generate robustly given prompt views of any directions, beyond object-centric inputs. Plus, to improve the capability and generalization ability of DiffusionGS, we scale up 3D training data by developing a scene-object mixed training strategy. Experiments show that our method enjoys better generation quality (2.20 dB higher in PSNR and 23.25 lower in FID) and over 5x faster speed (~6s on an A100 GPU) than SOTA methods. The user study and text-to-3D applications also reveals the practical values of our method. Our Project page at https://caiyuanhao1998.github.io/project/DiffusionGS/ shows the video and interactive generation results.