StdGEN: 단일 이미지로부터의 의미론적으로 분해된 3D 캐릭터 생성

StdGEN: Semantic-Decomposed 3D Character Generation from Single Images

November 8, 2024

저자: Yuze He, Yanning Zhou, Wang Zhao, Zhongkai Wu, Kaiwen Xiao, Wei Yang, Yong-Jin Liu, Xiao Han

cs.AI

초록

우리는 단일 이미지로부터 의미론적으로 분해된 고품질 3D 캐릭터를 생성하는 혁신적인 파이프라인인 StdGEN을 제안합니다. 이를 통해 가상 현실, 게임 및 영화 제작 등 다양한 분야에서 널리 활용할 수 있습니다. 이전 방법과는 달리 한정된 분해 능력, 불만족스러운 품질 및 오랜 최적화 시간에 어려움을 겪는 것과는 달리, StdGEN은 분해 가능성, 효과성 및 효율성을 갖추고 있습니다. 즉, 몸, 옷 및 머리와 같은 의미론적 구성 요소를 분리하여 복잡하게 디테일한 3D 캐릭터를 3분 안에 생성합니다. StdGEN의 핵심은 우리가 제안하는 Transformer 기반의 일반화 모델인 Semantic-aware Large Reconstruction Model (S-LRM)입니다. 이 모델은 다중 뷰 이미지로부터 기하학, 색상 및 의미론을 함께 전진 방식으로 재구성합니다. 우리의 S-LRM에 의해 재구성된 하이브리드 암시적 필드로부터 메쉬를 획득하기 위해 미분 가능한 다층 의미론적 표면 추출 방법이 도입되었습니다. 더불어, 특수화된 효율적인 다중 뷰 확산 모델과 반복적인 다층 표면 세밀화 모듈이 파이프라인에 통합되어 고품질이면서 분해 가능한 3D 캐릭터 생성을 용이하게 합니다. 광범위한 실험을 통해 3D 애니메이션 캐릭터 생성에서 우리의 최첨단 성능을 입증하며 기하학, 질감 및 분해 능력에서 기존 벤치마크를 크게 능가합니다. StdGEN은 사용 준비가 된 의미론적으로 분해된 3D 캐릭터를 제공하며 다양한 응용 분야에 유연한 맞춤 설정을 가능하게 합니다. 프로젝트 페이지: https://stdgen.github.io

English

We present StdGEN, an innovative pipeline for generating semantically decomposed high-quality 3D characters from single images, enabling broad applications in virtual reality, gaming, and filmmaking, etc. Unlike previous methods which struggle with limited decomposability, unsatisfactory quality, and long optimization times, StdGEN features decomposability, effectiveness and efficiency; i.e., it generates intricately detailed 3D characters with separated semantic components such as the body, clothes, and hair, in three minutes. At the core of StdGEN is our proposed Semantic-aware Large Reconstruction Model (S-LRM), a transformer-based generalizable model that jointly reconstructs geometry, color and semantics from multi-view images in a feed-forward manner. A differentiable multi-layer semantic surface extraction scheme is introduced to acquire meshes from hybrid implicit fields reconstructed by our S-LRM. Additionally, a specialized efficient multi-view diffusion model and an iterative multi-layer surface refinement module are integrated into the pipeline to facilitate high-quality, decomposable 3D character generation. Extensive experiments demonstrate our state-of-the-art performance in 3D anime character generation, surpassing existing baselines by a significant margin in geometry, texture and decomposability. StdGEN offers ready-to-use semantic-decomposed 3D characters and enables flexible customization for a wide range of applications. Project page: https://stdgen.github.io