PERSE: Avatar generativi 3D personalizzati da un singolo ritratto

PERSE: Personalized 3D Generative Avatars from A Single Portrait

December 30, 2024

Autori: Hyunsoo Cha, Inhee Lee, Hanbyul Joo

cs.AI

Abstract

Presentiamo PERSE, un metodo per creare un avatar generativo personalizzato e animabile da un ritratto di riferimento. Il nostro modello di avatar consente la modifica degli attributi facciali in uno spazio latente continuo e disentangled per controllare ciascun attributo facciale, preservando al contempo l'identità dell'individuo. Per raggiungere questo obiettivo, il nostro metodo inizia sintetizzando dataset video 2D sintetici su larga scala, in cui ciascun video contiene cambiamenti coerenti nell'espressione facciale e nel punto di vista, combinati con una variazione in un attributo facciale specifico rispetto all'input originale. Proponiamo un nuovo processo per produrre video 2D fotorealistici di alta qualità con modifica degli attributi facciali. Sfruttando questo dataset sintetico di attributi, presentiamo un metodo di creazione di avatar personalizzati basato sul Gaussian Splatting 3D, apprendendo uno spazio latente continuo e disentangled per la manipolazione intuitiva degli attributi facciali. Per garantire transizioni fluide in questo spazio latente, introduciamo una tecnica di regolarizzazione dello spazio latente utilizzando volti 2D interpolati come supervisione. Rispetto agli approcci precedenti, dimostriamo che PERSE genera avatar di alta qualità con attributi interpolati preservando l'identità della persona di riferimento.

English

We present PERSE, a method for building an animatable personalized generative avatar from a reference portrait. Our avatar model enables facial attribute editing in a continuous and disentangled latent space to control each facial attribute, while preserving the individual's identity. To achieve this, our method begins by synthesizing large-scale synthetic 2D video datasets, where each video contains consistent changes in the facial expression and viewpoint, combined with a variation in a specific facial attribute from the original input. We propose a novel pipeline to produce high-quality, photorealistic 2D videos with facial attribute editing. Leveraging this synthetic attribute dataset, we present a personalized avatar creation method based on the 3D Gaussian Splatting, learning a continuous and disentangled latent space for intuitive facial attribute manipulation. To enforce smooth transitions in this latent space, we introduce a latent space regularization technique by using interpolated 2D faces as supervision. Compared to previous approaches, we demonstrate that PERSE generates high-quality avatars with interpolated attributes while preserving identity of reference person.