단일 초상화로부터 개인화된 3D 생성 아바타인 PERSE

PERSE: Personalized 3D Generative Avatars from A Single Portrait

December 30, 2024

저자: Hyunsoo Cha, Inhee Lee, Hanbyul Joo

cs.AI

초록

우리는 참조 초상화로부터 애니메이션 가능한 개인화된 생성형 아바타를 구축하는 PERSE 방법을 제시합니다. 우리의 아바타 모델은 각 얼굴 속성을 제어하기 위해 연속적이고 분리된 잠재 공간에서 얼굴 속성 편집을 가능하게 하며, 동시에 개인의 정체성을 보존합니다. 이를 달성하기 위해 우리의 방법은 얼굴 표정 및 시점에서 일관된 변화를 포함하고, 특정 얼굴 속성의 변화를 결합한 대규모 합성 2D 비디오 데이터셋을 합성하는 것으로 시작합니다. 우리는 얼굴 속성 편집이 포함된 고품질, 사실적인 2D 비디오를 생성하기 위한 새로운 파이프라인을 제안합니다. 이러한 합성 속성 데이터셋을 활용하여, 우리는 3D 가우시안 스플래팅을 기반으로 한 개인화된 아바타 생성 방법을 제시하며, 직관적인 얼굴 속성 조작을 위한 연속적이고 분리된 잠재 공간을 학습합니다. 이 잠재 공간에서 부드러운 전이를 강화하기 위해, 우리는 보간된 2D 얼굴을 감독으로 사용하는 잠재 공간 정규화 기술을 소개합니다. 이전 방법과 비교하여, 우리는 PERSE가 참조 인물의 정체성을 보존하면서 보간된 속성을 갖는 고품질 아바타를 생성한다는 것을 증명합니다.

English

We present PERSE, a method for building an animatable personalized generative avatar from a reference portrait. Our avatar model enables facial attribute editing in a continuous and disentangled latent space to control each facial attribute, while preserving the individual's identity. To achieve this, our method begins by synthesizing large-scale synthetic 2D video datasets, where each video contains consistent changes in the facial expression and viewpoint, combined with a variation in a specific facial attribute from the original input. We propose a novel pipeline to produce high-quality, photorealistic 2D videos with facial attribute editing. Leveraging this synthetic attribute dataset, we present a personalized avatar creation method based on the 3D Gaussian Splatting, learning a continuous and disentangled latent space for intuitive facial attribute manipulation. To enforce smooth transitions in this latent space, we introduce a latent space regularization technique by using interpolated 2D faces as supervision. Compared to previous approaches, we demonstrate that PERSE generates high-quality avatars with interpolated attributes while preserving identity of reference person.