Integration von Gaussischem Splatting in den Diffusionsdämpfer für schnelle und skalierbare einstufige Bild-zu-3D-Generierung

Baking Gaussian Splatting into Diffusion Denoiser for Fast and Scalable Single-stage Image-to-3D Generation

November 21, 2024

Autoren: Yuanhao Cai, He Zhang, Kai Zhang, Yixun Liang, Mengwei Ren, Fujun Luan, Qing Liu, Soo Ye Kim, Jianming Zhang, Zhifei Zhang, Yuqian Zhou, Zhe Lin, Alan Yuille

cs.AI

Zusammenfassung

Bestehende feed-forward Bild-zu-3D Methoden stützen sich hauptsächlich auf 2D Multi-View Diffusionsmodelle, die keine 3D Konsistenz garantieren können. Diese Methoden brechen leicht zusammen, wenn sich die Blickrichtung ändert, und behandeln hauptsächlich objektorientierte Eingabebilder. In diesem Papier schlagen wir ein neuartiges einstufiges 3D Diffusionsmodell, DiffusionGS, für die Generierung von Objekten und Szenen aus einer einzigen Ansicht vor. DiffusionGS gibt direkt 3D Gauss'sche Punktewolken bei jedem Zeitschritt aus, um die Ansichtskonsistenz durchzusetzen und dem Modell zu ermöglichen, robuste Ergebnisse bei Eingaben aus beliebigen Richtungen zu generieren, über objektorientierte Eingaben hinaus. Darüber hinaus verbessern wir die Fähigkeiten und Generalisierungsfähigkeiten von DiffusionGS, indem wir die 3D-Trainingsdaten durch die Entwicklung einer Szenen-Objekt-Mischtrainingsstrategie skalieren. Experimente zeigen, dass unsere Methode eine bessere Generierungsqualität aufweist (2,20 dB höher im PSNR und 23,25 niedriger im FID) und über 5x schneller ist (~6s auf einer A100 GPU) als die derzeit besten Methoden. Die Benutzerstudie und Text-zu-3D-Anwendungen zeigen auch den praktischen Nutzen unserer Methode. Unsere Projektseite unter https://caiyuanhao1998.github.io/project/DiffusionGS/ zeigt das Video und die interaktiven Generierungsergebnisse.

English

Existing feed-forward image-to-3D methods mainly rely on 2D multi-view diffusion models that cannot guarantee 3D consistency. These methods easily collapse when changing the prompt view direction and mainly handle object-centric prompt images. In this paper, we propose a novel single-stage 3D diffusion model, DiffusionGS, for object and scene generation from a single view. DiffusionGS directly outputs 3D Gaussian point clouds at each timestep to enforce view consistency and allow the model to generate robustly given prompt views of any directions, beyond object-centric inputs. Plus, to improve the capability and generalization ability of DiffusionGS, we scale up 3D training data by developing a scene-object mixed training strategy. Experiments show that our method enjoys better generation quality (2.20 dB higher in PSNR and 23.25 lower in FID) and over 5x faster speed (~6s on an A100 GPU) than SOTA methods. The user study and text-to-3D applications also reveals the practical values of our method. Our Project page at https://caiyuanhao1998.github.io/project/DiffusionGS/ shows the video and interactive generation results.