MagicFace: Modifica ad alta fedeltà delle espressioni facciali con controllo delle unità d'azione.

MagicFace: High-Fidelity Facial Expression Editing with Action-Unit Control

January 4, 2025

Autori: Mengting Wei, Tuomas Varanka, Xingxun Jiang, Huai-Qian Khor, Guoying Zhao

cs.AI

Abstract

Affrontiamo il problema della modifica delle espressioni facciali controllando la variazione relativa dell'unità d'azione facciale (AU) della stessa persona. Ciò ci consente di modificare l'espressione di questa persona in modo dettagliato, continuo e interpretabile, preservando nel contempo la sua identità, posa, sfondo e dettagliati attributi facciali. Fondamentale per il nostro modello, che abbiamo chiamato MagicFace, è un modello di diffusione condizionato alle variazioni delle AU e un codificatore di ID per preservare dettagli facciali di alta coerenza. In particolare, per preservare i dettagli facciali con l'identità di input, sfruttiamo la potenza dei modelli Stable-Diffusion preaddestrati e progettiamo un codificatore di ID per fondere le caratteristiche dell'aspetto attraverso l'autorappresentazione. Per mantenere la coerenza dello sfondo e della posa, introduciamo un Controller di Attributi efficiente informando esplicitamente il modello dello sfondo e della posa attuali dell'obiettivo. Iniettando variazioni delle AU in un UNet di denoising, il nostro modello può animare identità arbitrarie con varie combinazioni di AU, producendo risultati superiori nella modifica ad alta fedeltà delle espressioni rispetto ad altri lavori di modifica delle espressioni facciali. Il codice è disponibile pubblicamente su https://github.com/weimengting/MagicFace.

English

We address the problem of facial expression editing by controling the relative variation of facial action-unit (AU) from the same person. This enables us to edit this specific person's expression in a fine-grained, continuous and interpretable manner, while preserving their identity, pose, background and detailed facial attributes. Key to our model, which we dub MagicFace, is a diffusion model conditioned on AU variations and an ID encoder to preserve facial details of high consistency. Specifically, to preserve the facial details with the input identity, we leverage the power of pretrained Stable-Diffusion models and design an ID encoder to merge appearance features through self-attention. To keep background and pose consistency, we introduce an efficient Attribute Controller by explicitly informing the model of current background and pose of the target. By injecting AU variations into a denoising UNet, our model can animate arbitrary identities with various AU combinations, yielding superior results in high-fidelity expression editing compared to other facial expression editing works. Code is publicly available at https://github.com/weimengting/MagicFace.