StdGEN: Semantisch-dekomponierte 3D-Charaktergenerierung aus Einzelbildern

StdGEN: Semantic-Decomposed 3D Character Generation from Single Images

November 8, 2024

Autoren: Yuze He, Yanning Zhou, Wang Zhao, Zhongkai Wu, Kaiwen Xiao, Wei Yang, Yong-Jin Liu, Xiao Han

cs.AI

Zusammenfassung

Wir präsentieren StdGEN, eine innovative Pipeline zur Generierung semantisch zerlegter hochwertiger 3D-Charaktere aus Einzelbildern, die breite Anwendungen in Virtual Reality, Gaming und Filmproduktion ermöglicht. Im Gegensatz zu früheren Methoden, die mit begrenzter Zerlegbarkeit, unbefriedigender Qualität und langen Optimierungszeiten zu kämpfen haben, zeichnet sich StdGEN durch Zerlegbarkeit, Effektivität und Effizienz aus. Es generiert detaillierte 3D-Charaktere mit separierten semantischen Komponenten wie Körper, Kleidung und Haaren in drei Minuten. Im Kern von StdGEN steht unser vorgeschlagenes semantikbewusstes großflächiges Rekonstruktionsmodell (S-LRM), ein auf Transformer basierendes generalisierbares Modell, das Geometrie, Farbe und Semantik aus Mehrbildansichten auf feed-forward Art und Weise gemeinsam rekonstruiert. Ein differenzierbarer mehrschichtiger semantischer Oberflächenextraktionsschema wird eingeführt, um Meshes aus hybriden impliziten Feldern zu erhalten, die von unserem S-LRM rekonstruiert wurden. Darüber hinaus sind ein spezialisiertes effizientes Mehrbild-Diffusionsmodell und ein iteratives mehrschichtiges Oberflächenverfeinerungsmodul in die Pipeline integriert, um die Generierung hochwertiger, zerlegbarer 3D-Charaktere zu erleichtern. Umfangreiche Experimente zeigen unsere Spitzenleistung bei der Generierung von 3D-Anime-Charakteren, wobei wir bestehende Baselines in Geometrie, Textur und Zerlegbarkeit deutlich übertreffen. StdGEN bietet sofort einsatzbereite semantisch zerlegte 3D-Charaktere und ermöglicht eine flexible Anpassung für eine Vielzahl von Anwendungen. Projektseite: https://stdgen.github.io

English

We present StdGEN, an innovative pipeline for generating semantically decomposed high-quality 3D characters from single images, enabling broad applications in virtual reality, gaming, and filmmaking, etc. Unlike previous methods which struggle with limited decomposability, unsatisfactory quality, and long optimization times, StdGEN features decomposability, effectiveness and efficiency; i.e., it generates intricately detailed 3D characters with separated semantic components such as the body, clothes, and hair, in three minutes. At the core of StdGEN is our proposed Semantic-aware Large Reconstruction Model (S-LRM), a transformer-based generalizable model that jointly reconstructs geometry, color and semantics from multi-view images in a feed-forward manner. A differentiable multi-layer semantic surface extraction scheme is introduced to acquire meshes from hybrid implicit fields reconstructed by our S-LRM. Additionally, a specialized efficient multi-view diffusion model and an iterative multi-layer surface refinement module are integrated into the pipeline to facilitate high-quality, decomposable 3D character generation. Extensive experiments demonstrate our state-of-the-art performance in 3D anime character generation, surpassing existing baselines by a significant margin in geometry, texture and decomposability. StdGEN offers ready-to-use semantic-decomposed 3D characters and enables flexible customization for a wide range of applications. Project page: https://stdgen.github.io