DreamWaltz-G: 스켈레톤 안내 2D 확산으로부터의 표현적인 3D 가우시안 아바타

DreamWaltz-G: Expressive 3D Gaussian Avatars from Skeleton-Guided 2D Diffusion

September 25, 2024

저자: Yukun Huang, Jianan Wang, Ailing Zeng, Zheng-Jun Zha, Lei Zhang, Xihui Liu

cs.AI

초록

사전 훈련된 2D 확산 모델과 점수 증류 샘플링(SDS)을 활용하여 최근의 방법들은 텍스트로부터 3D 아바타를 생성하는 데 유망한 결과를 보여주었습니다. 그러나 표현력 있는 애니메이션을 할 수 있는 고품질 3D 아바타를 생성하는 것은 여전히 어려운 과제입니다. 본 연구에서는 텍스트로부터 애니메이션 가능한 3D 아바타 생성을 위한 새로운 학습 프레임워크인 DreamWaltz-G를 제안합니다. 이 프레임워크의 핵심은 스켈레톤 안내 점수 증류와 하이브리드 3D 가우시안 아바타 표현에 있습니다. 구체적으로 제안된 스켈레톤 안내 점수 증류는 3D 인간 템플릿에서의 스켈레톤 제어를 2D 확산 모델에 통합하여 SDS 감독의 일관성을 향상시킴으로써 시야와 인간 자세 측면에서 SDS 감독의 일관성을 향상시킵니다. 이는 고품질 아바타를 생성하여 다중 얼굴, 추가된 팔다리, 흐릿함과 같은 문제를 완화시킵니다. 제안된 하이브리드 3D 가우시안 아바타 표현은 효율적인 3D 가우시안을 기반으로 하며, 신경 임플리시트 필드와 매개변수화된 3D 메쉬를 결합하여 실시간 렌더링, 안정적인 SDS 최적화 및 표현력 있는 애니메이션을 가능하게 합니다. 광범위한 실험 결과는 DreamWaltz-G가 고품질의 3D 아바타를 생성하고 애니메이션화하는 데 매우 효과적이며 시각적 품질과 애니메이션 표현력 측면에서 기존 방법들을 능가한다는 것을 입증합니다. 우리의 프레임워크는 인간 비디오 재연 및 다중 주제 씬 구성을 포함한 다양한 응용을 지원합니다.

English

Leveraging pretrained 2D diffusion models and score distillation sampling (SDS), recent methods have shown promising results for text-to-3D avatar generation. However, generating high-quality 3D avatars capable of expressive animation remains challenging. In this work, we present DreamWaltz-G, a novel learning framework for animatable 3D avatar generation from text. The core of this framework lies in Skeleton-guided Score Distillation and Hybrid 3D Gaussian Avatar representation. Specifically, the proposed skeleton-guided score distillation integrates skeleton controls from 3D human templates into 2D diffusion models, enhancing the consistency of SDS supervision in terms of view and human pose. This facilitates the generation of high-quality avatars, mitigating issues such as multiple faces, extra limbs, and blurring. The proposed hybrid 3D Gaussian avatar representation builds on the efficient 3D Gaussians, combining neural implicit fields and parameterized 3D meshes to enable real-time rendering, stable SDS optimization, and expressive animation. Extensive experiments demonstrate that DreamWaltz-G is highly effective in generating and animating 3D avatars, outperforming existing methods in both visual quality and animation expressiveness. Our framework further supports diverse applications, including human video reenactment and multi-subject scene composition.