MagicFace: 액션 유닛 제어를 통한 고품질 얼굴 표정 편집

MagicFace: High-Fidelity Facial Expression Editing with Action-Unit Control

January 4, 2025

저자: Mengting Wei, Tuomas Varanka, Xingxun Jiang, Huai-Qian Khor, Guoying Zhao

cs.AI

초록

우리는 동일한 사람의 얼굴 표정 단위 (AU)의 상대적 변화를 제어함으로써 얼굴 표정 편집 문제에 대응합니다. 이를 통해 우리는 그 특정 인물의 표정을 세밀하고 연속적이며 해석 가능한 방식으로 편집할 수 있게 되었습니다. 이 과정에서 그들의 신원, 자세, 배경 및 상세한 얼굴 속성을 보존할 수 있습니다. 우리가 MagicFace라고 명명한 모델의 핵심은 AU 변화에 의존하는 확산 모델과 ID 인코더로, 높은 일관성의 얼굴 세부 사항을 보존합니다. 특히, 입력 신원과 함께 얼굴 세부 사항을 보존하기 위해 사전 훈련된 Stable-Diffusion 모델의 능력을 활용하고, 외관 특징을 자기 주의를 통해 통합하는 ID 인코더를 설계했습니다. 배경과 자세의 일관성을 유지하기 위해 대상의 현재 배경과 자세를 모델에 명시적으로 알리는 효율적인 속성 컨트롤러를 도입했습니다. AU 변화를 노이즈 제거 UNet에 주입함으로써, 우리의 모델은 다양한 AU 조합을 사용하여 임의의 신원을 활성화할 수 있으며, 다른 얼굴 표정 편집 작업과 비교하여 고품질의 표정 편집 결과를 제공합니다. 코드는 https://github.com/weimengting/MagicFace에서 공개적으로 이용 가능합니다.

English

We address the problem of facial expression editing by controling the relative variation of facial action-unit (AU) from the same person. This enables us to edit this specific person's expression in a fine-grained, continuous and interpretable manner, while preserving their identity, pose, background and detailed facial attributes. Key to our model, which we dub MagicFace, is a diffusion model conditioned on AU variations and an ID encoder to preserve facial details of high consistency. Specifically, to preserve the facial details with the input identity, we leverage the power of pretrained Stable-Diffusion models and design an ID encoder to merge appearance features through self-attention. To keep background and pose consistency, we introduce an efficient Attribute Controller by explicitly informing the model of current background and pose of the target. By injecting AU variations into a denoising UNet, our model can animate arbitrary identities with various AU combinations, yielding superior results in high-fidelity expression editing compared to other facial expression editing works. Code is publicly available at https://github.com/weimengting/MagicFace.