StdGEN: Generazione di Personaggi 3D Decomposti Semanticamente da Singole Immagini

StdGEN: Semantic-Decomposed 3D Character Generation from Single Images

November 8, 2024

Autori: Yuze He, Yanning Zhou, Wang Zhao, Zhongkai Wu, Kaiwen Xiao, Wei Yang, Yong-Jin Liu, Xiao Han

cs.AI

Abstract

Presentiamo StdGEN, un innovativo processo per generare personaggi 3D ad alta qualità decomposti semanticamente da singole immagini, consentendo ampie applicazioni in realtà virtuale, videogiochi, e produzione cinematografica, ecc. A differenza dei metodi precedenti che faticano con una limitata decomponibilità, qualità insoddisfacente, e lunghi tempi di ottimizzazione, StdGEN presenta decomponibilità, efficacia ed efficienza; ossia, genera personaggi 3D dettagliatamente articolati con componenti semantiche separate come il corpo, i vestiti e i capelli, in tre minuti. Al centro di StdGEN si trova il nostro proposto Modello di Ricostruzione Semantica Consapevole (S-LRM), un modello generalizzabile basato su trasformatori che ricostruisce congiuntamente geometria, colore e semantica da immagini multi-vista in modo feed-forward. Viene introdotto uno schema differenziabile di estrazione di superfici semantiche multi-strato per acquisire mesh da campi impliciti ibridi ricostruiti dal nostro S-LRM. Inoltre, un modello di diffusione multi-vista efficiente e specializzato e un modulo di raffinamento di superfici multi-strato iterativo sono integrati nel processo per facilitare la generazione di personaggi 3D decomponibili ad alta qualità. Estesi esperimenti dimostrano le nostre prestazioni all'avanguardia nella generazione di personaggi anime 3D, superando di gran lunga i benchmark esistenti in geometria, texture e decomponibilità. StdGEN offre personaggi 3D decomposti semanticamente pronti all'uso e consente una personalizzazione flessibile per una vasta gamma di applicazioni. Pagina del progetto: https://stdgen.github.io

English

We present StdGEN, an innovative pipeline for generating semantically decomposed high-quality 3D characters from single images, enabling broad applications in virtual reality, gaming, and filmmaking, etc. Unlike previous methods which struggle with limited decomposability, unsatisfactory quality, and long optimization times, StdGEN features decomposability, effectiveness and efficiency; i.e., it generates intricately detailed 3D characters with separated semantic components such as the body, clothes, and hair, in three minutes. At the core of StdGEN is our proposed Semantic-aware Large Reconstruction Model (S-LRM), a transformer-based generalizable model that jointly reconstructs geometry, color and semantics from multi-view images in a feed-forward manner. A differentiable multi-layer semantic surface extraction scheme is introduced to acquire meshes from hybrid implicit fields reconstructed by our S-LRM. Additionally, a specialized efficient multi-view diffusion model and an iterative multi-layer surface refinement module are integrated into the pipeline to facilitate high-quality, decomposable 3D character generation. Extensive experiments demonstrate our state-of-the-art performance in 3D anime character generation, surpassing existing baselines by a significant margin in geometry, texture and decomposability. StdGEN offers ready-to-use semantic-decomposed 3D characters and enables flexible customization for a wide range of applications. Project page: https://stdgen.github.io