Disco4D: 단일 이미지로부터 분리된 4D 인간 생성 및 애니메이션

Disco4D: Disentangled 4D Human Generation and Animation from a Single Image

September 25, 2024

저자: Hui En Pang, Shuai Liu, Zhongang Cai, Lei Yang, Tianwei Zhang, Ziwei Liu

cs.AI

초록

우리는 단일 이미지로부터 4D 인간 생성 및 애니메이션을 위한 새로운 가우시안 스플래팅 프레임워크인 Disco4D를 제안합니다. 기존 방법과는 다르게 Disco4D는 옷(가우시안 모델)을 인간 몸체(SMPL-X 모델)와 구분하여 세부사항과 유연성을 크게 향상시킵니다. 다음과 같은 기술적 혁신을 갖고 있습니다. 1) Disco4D는 옷 가우시안을 SMPL-X 가우시안 위에 효율적으로 맞추는 학습을 합니다. 2) 3D 생성 과정을 향상시키기 위해 확산 모델을 채택하며, 예를 들어 입력 이미지에서 보이지 않는 가려진 부분을 모델링합니다. 3) 각 옷 가우시안에 대한 신원 인코딩을 학습하여 옷 자산의 분리와 추출을 용이하게 합니다. 더불어, Disco4D는 생생한 역학을 갖고 4D 인간 애니메이션을 자연스럽게 지원합니다. 포괄적인 실험은 Disco4D의 4D 인간 생성 및 애니메이션 작업에서 우수성을 입증합니다. 시각화 자료는 https://disco-4d.github.io/에서 확인할 수 있습니다.

English

We present Disco4D, a novel Gaussian Splatting framework for 4D human generation and animation from a single image. Different from existing methods, Disco4D distinctively disentangles clothings (with Gaussian models) from the human body (with SMPL-X model), significantly enhancing the generation details and flexibility. It has the following technical innovations. 1) Disco4D learns to efficiently fit the clothing Gaussians over the SMPL-X Gaussians. 2) It adopts diffusion models to enhance the 3D generation process, e.g., modeling occluded parts not visible in the input image. 3) It learns an identity encoding for each clothing Gaussian to facilitate the separation and extraction of clothing assets. Furthermore, Disco4D naturally supports 4D human animation with vivid dynamics. Extensive experiments demonstrate the superiority of Disco4D on 4D human generation and animation tasks. Our visualizations can be found in https://disco-4d.github.io/.