PERSE: Avatares Generativos 3D Personalizados a partir de um Único Retrato

PERSE: Personalized 3D Generative Avatars from A Single Portrait

December 30, 2024

Autores: Hyunsoo Cha, Inhee Lee, Hanbyul Joo

cs.AI

Resumo

Apresentamos o PERSE, um método para construir um avatar generativo personalizado e animável a partir de um retrato de referência. Nosso modelo de avatar permite a edição de atributos faciais em um espaço latente contínuo e desembaraçado para controlar cada atributo facial, preservando a identidade do indivíduo. Para alcançar isso, nosso método começa sintetizando conjuntos de dados de vídeo 2D sintéticos em larga escala, nos quais cada vídeo contém mudanças consistentes na expressão facial e no ponto de vista, combinadas com uma variação em um atributo facial específico da entrada original. Propomos um novo pipeline para produzir vídeos 2D fotorrealistas de alta qualidade com edição de atributos faciais. Aproveitando este conjunto de dados de atributos sintéticos, apresentamos um método de criação de avatar personalizado baseado no 3D Gaussian Splatting, aprendendo um espaço latente contínuo e desembaraçado para manipulação intuitiva de atributos faciais. Para garantir transições suaves neste espaço latente, introduzimos uma técnica de regularização do espaço latente usando faces 2D interpoladas como supervisão. Comparado a abordagens anteriores, demonstramos que o PERSE gera avatares de alta qualidade com atributos interpolados, preservando a identidade da pessoa de referência.

English

We present PERSE, a method for building an animatable personalized generative avatar from a reference portrait. Our avatar model enables facial attribute editing in a continuous and disentangled latent space to control each facial attribute, while preserving the individual's identity. To achieve this, our method begins by synthesizing large-scale synthetic 2D video datasets, where each video contains consistent changes in the facial expression and viewpoint, combined with a variation in a specific facial attribute from the original input. We propose a novel pipeline to produce high-quality, photorealistic 2D videos with facial attribute editing. Leveraging this synthetic attribute dataset, we present a personalized avatar creation method based on the 3D Gaussian Splatting, learning a continuous and disentangled latent space for intuitive facial attribute manipulation. To enforce smooth transitions in this latent space, we introduce a latent space regularization technique by using interpolated 2D faces as supervision. Compared to previous approaches, we demonstrate that PERSE generates high-quality avatars with interpolated attributes while preserving identity of reference person.