単一の肖像画からの個人化された3D生成アバター

PERSE: Personalized 3D Generative Avatars from A Single Portrait

December 30, 2024

著者: Hyunsoo Cha, Inhee Lee, Hanbyul Joo

cs.AI

要旨

私たちは、参照ポートレートからアニメーション可能なパーソナライズされた生成アバターを構築するための方法であるPERSEを提案します。当社のアバターモデルは、各顔の属性を制御するための連続的で分離された潜在空間で顔の属性編集を可能にし、同時に個人のアイデンティティを保持します。このために、当社の手法は、顔の表情と視点の一貫した変化を含む大規模な合成2Dビデオデータセットを合成し、元の入力から特定の顔の属性の変化を組み合わせた各ビデオを生成することから始めます。私たちは、顔の属性編集を行う高品質で写実的な2Dビデオを生成するための新しいパイプラインを提案します。この合成属性データセットを活用して、3Dガウススプラッティングに基づく個人用アバター作成手法を提案し、直感的な顔の属性操作のための連続的で分離された潜在空間を学習します。この潜在空間でのスムーズな遷移を強制するために、補間された2D顔を監督として使用する潜在空間の正則化技術を導入します。従来の手法と比較して、PERSEは、参照者のアイデンティティを保持しながら、補間された属性を持つ高品質なアバターを生成することを示しています。

English

We present PERSE, a method for building an animatable personalized generative avatar from a reference portrait. Our avatar model enables facial attribute editing in a continuous and disentangled latent space to control each facial attribute, while preserving the individual's identity. To achieve this, our method begins by synthesizing large-scale synthetic 2D video datasets, where each video contains consistent changes in the facial expression and viewpoint, combined with a variation in a specific facial attribute from the original input. We propose a novel pipeline to produce high-quality, photorealistic 2D videos with facial attribute editing. Leveraging this synthetic attribute dataset, we present a personalized avatar creation method based on the 3D Gaussian Splatting, learning a continuous and disentangled latent space for intuitive facial attribute manipulation. To enforce smooth transitions in this latent space, we introduce a latent space regularization technique by using interpolated 2D faces as supervision. Compared to previous approaches, we demonstrate that PERSE generates high-quality avatars with interpolated attributes while preserving identity of reference person.