StdGEN: Semantisch-Ontbonden 3D-personagegeneratie vanuit enkele afbeeldingen

StdGEN: Semantic-Decomposed 3D Character Generation from Single Images

November 8, 2024

Auteurs: Yuze He, Yanning Zhou, Wang Zhao, Zhongkai Wu, Kaiwen Xiao, Wei Yang, Yong-Jin Liu, Xiao Han

cs.AI

Samenvatting

Wij presenteren StdGEN, een innovatieve pipeline voor het genereren van semantisch gedecomposeerde hoogwaardige 3D-personages vanuit enkele afbeeldingen, waardoor brede toepassingen mogelijk zijn in virtual reality, gaming en filmmaken, enz. In tegenstelling tot eerdere methoden die worstelen met beperkte decomposeerbaarheid, onbevredigende kwaliteit en lange optimalisatietijden, biedt StdGEN decomposeerbaarheid, effectiviteit en efficiëntie; d.w.z. het genereert gedetailleerde 3D-personages met afzonderlijke semantische componenten zoals het lichaam, kleding en haar, in drie minuten. In de kern van StdGEN staat ons voorgestelde Semantisch-bewust Groot Reconstructiemodel (S-LRM), een op transformer gebaseerd generaliseerbaar model dat geometrie, kleur en semantiek gezamenlijk reconstrueert vanuit multi-view afbeeldingen op een feed-forward manier. Een differentieerbaar meerlagig semantisch oppervlakte-extractieschema wordt geïntroduceerd om meshes te verkrijgen uit hybride impliciete velden gereconstrueerd door onze S-LRM. Daarnaast zijn een gespecialiseerd efficiënt multi-view diffusiemodel en een iteratieve meerlagige oppervlakteraffineringsmodule geïntegreerd in de pipeline om de generatie van hoogwaardige, decomposeerbare 3D-personages te vergemakkelijken. Uitgebreide experimenten tonen onze state-of-the-art prestaties in 3D-animepersonagegeneratie, waarbij bestaande baselines aanzienlijk worden overtroffen op het gebied van geometrie, textuur en decomposeerbaarheid. StdGEN biedt kant-en-klare semantisch-gedecomposeerde 3D-personages en maakt flexibele aanpassing mogelijk voor een breed scala aan toepassingen. Projectpagina: https://stdgen.github.io

English

We present StdGEN, an innovative pipeline for generating semantically decomposed high-quality 3D characters from single images, enabling broad applications in virtual reality, gaming, and filmmaking, etc. Unlike previous methods which struggle with limited decomposability, unsatisfactory quality, and long optimization times, StdGEN features decomposability, effectiveness and efficiency; i.e., it generates intricately detailed 3D characters with separated semantic components such as the body, clothes, and hair, in three minutes. At the core of StdGEN is our proposed Semantic-aware Large Reconstruction Model (S-LRM), a transformer-based generalizable model that jointly reconstructs geometry, color and semantics from multi-view images in a feed-forward manner. A differentiable multi-layer semantic surface extraction scheme is introduced to acquire meshes from hybrid implicit fields reconstructed by our S-LRM. Additionally, a specialized efficient multi-view diffusion model and an iterative multi-layer surface refinement module are integrated into the pipeline to facilitate high-quality, decomposable 3D character generation. Extensive experiments demonstrate our state-of-the-art performance in 3D anime character generation, surpassing existing baselines by a significant margin in geometry, texture and decomposability. StdGEN offers ready-to-use semantic-decomposed 3D characters and enables flexible customization for a wide range of applications. Project page: https://stdgen.github.io