StdGEN : Génération de personnages 3D décomposée sémantiquement à partir d'images uniques

StdGEN: Semantic-Decomposed 3D Character Generation from Single Images

November 8, 2024

Auteurs: Yuze He, Yanning Zhou, Wang Zhao, Zhongkai Wu, Kaiwen Xiao, Wei Yang, Yong-Jin Liu, Xiao Han

cs.AI

Résumé

Nous présentons StdGEN, un pipeline novateur pour générer des personnages 3D de haute qualité décomposés sémantiquement à partir d'images uniques, permettant une large gamme d'applications en réalité virtuelle, jeux vidéo, cinéma, etc. Contrairement aux méthodes précédentes qui rencontrent des difficultés en termes de décomposabilité limitée, de qualité insatisfaisante et de longs temps d'optimisation, StdGEN se distingue par sa décomposabilité, son efficacité et son efficience ; c'est-à-dire qu'il génère des personnages 3D détaillés de manière complexe avec des composants sémantiques séparés tels que le corps, les vêtements et les cheveux, en trois minutes. Au cœur de StdGEN se trouve notre Modèle de Reconstruction Sémantique Large (S-LRM) proposé, un modèle généralisable basé sur les transformers qui reconstruit conjointement la géométrie, la couleur et la sémantique à partir d'images multi-vues de manière feed-forward. Un schéma d'extraction de surface sémantique multi-couche différentiable est introduit pour acquérir des maillages à partir de champs implicites hybrides reconstruits par notre S-LRM. De plus, un modèle de diffusion multi-vues efficace et spécialisé et un module itératif de raffinement de surface multi-couche sont intégrés dans le pipeline pour faciliter la génération de personnages 3D décomposables et de haute qualité. Des expériences approfondies démontrent nos performances de pointe dans la génération de personnages d'anime 3D, dépassant de manière significative les références existantes en termes de géométrie, texture et décomposabilité. StdGEN propose des personnages 3D décomposés sémantiquement prêts à l'emploi et permet une personnalisation flexible pour une large gamme d'applications. Page du projet : https://stdgen.github.io

English

We present StdGEN, an innovative pipeline for generating semantically decomposed high-quality 3D characters from single images, enabling broad applications in virtual reality, gaming, and filmmaking, etc. Unlike previous methods which struggle with limited decomposability, unsatisfactory quality, and long optimization times, StdGEN features decomposability, effectiveness and efficiency; i.e., it generates intricately detailed 3D characters with separated semantic components such as the body, clothes, and hair, in three minutes. At the core of StdGEN is our proposed Semantic-aware Large Reconstruction Model (S-LRM), a transformer-based generalizable model that jointly reconstructs geometry, color and semantics from multi-view images in a feed-forward manner. A differentiable multi-layer semantic surface extraction scheme is introduced to acquire meshes from hybrid implicit fields reconstructed by our S-LRM. Additionally, a specialized efficient multi-view diffusion model and an iterative multi-layer surface refinement module are integrated into the pipeline to facilitate high-quality, decomposable 3D character generation. Extensive experiments demonstrate our state-of-the-art performance in 3D anime character generation, surpassing existing baselines by a significant margin in geometry, texture and decomposability. StdGEN offers ready-to-use semantic-decomposed 3D characters and enables flexible customization for a wide range of applications. Project page: https://stdgen.github.io