Intégration de l'étalement gaussien dans le filtre de lissage par diffusion pour une génération rapide et évolutive d'images vers la 3D en une seule étape.

Baking Gaussian Splatting into Diffusion Denoiser for Fast and Scalable Single-stage Image-to-3D Generation

November 21, 2024

Auteurs: Yuanhao Cai, He Zhang, Kai Zhang, Yixun Liang, Mengwei Ren, Fujun Luan, Qing Liu, Soo Ye Kim, Jianming Zhang, Zhifei Zhang, Yuqian Zhou, Zhe Lin, Alan Yuille

cs.AI

Résumé

Les méthodes existantes de conversion d'images en 3D à propagation avant reposent principalement sur des modèles de diffusion multi-vues en 2D qui ne peuvent garantir la cohérence en 3D. Ces méthodes s'effondrent facilement lors du changement de la direction de la vue initiale et traitent principalement des images centrées sur l'objet. Dans cet article, nous proposons un nouveau modèle de diffusion 3D en une seule étape, DiffusionGS, pour la génération d'objets et de scènes à partir d'une seule vue. DiffusionGS produit directement des nuages de points gaussiens en 3D à chaque pas de temps pour imposer la cohérence de la vue et permettre au modèle de générer de manière robuste des vues initiales de toutes directions, au-delà des entrées centrées sur l'objet. De plus, pour améliorer la capacité et la capacité de généralisation de DiffusionGS, nous augmentons les données d'entraînement en 3D en développant une stratégie d'entraînement mixte scène-objet. Les expériences montrent que notre méthode offre une meilleure qualité de génération (2,20 dB de plus en PSNR et 23,25 de moins en FID) et une vitesse plus de 5 fois plus rapide (~6s sur un GPU A100) que les méthodes de pointe. L'étude utilisateur et les applications de texte en 3D révèlent également les valeurs pratiques de notre méthode. Notre page de projet sur https://caiyuanhao1998.github.io/project/DiffusionGS/ montre la vidéo et les résultats de génération interactifs.

English

Existing feed-forward image-to-3D methods mainly rely on 2D multi-view diffusion models that cannot guarantee 3D consistency. These methods easily collapse when changing the prompt view direction and mainly handle object-centric prompt images. In this paper, we propose a novel single-stage 3D diffusion model, DiffusionGS, for object and scene generation from a single view. DiffusionGS directly outputs 3D Gaussian point clouds at each timestep to enforce view consistency and allow the model to generate robustly given prompt views of any directions, beyond object-centric inputs. Plus, to improve the capability and generalization ability of DiffusionGS, we scale up 3D training data by developing a scene-object mixed training strategy. Experiments show that our method enjoys better generation quality (2.20 dB higher in PSNR and 23.25 lower in FID) and over 5x faster speed (~6s on an A100 GPU) than SOTA methods. The user study and text-to-3D applications also reveals the practical values of our method. Our Project page at https://caiyuanhao1998.github.io/project/DiffusionGS/ shows the video and interactive generation results.