VividFace: un framework ibrido basato sulla diffusione per lo scambio ad alta fedeltà dei volti nei video

VividFace: A Diffusion-Based Hybrid Framework for High-Fidelity Video Face Swapping

December 15, 2024

Autori: Hao Shao, Shulun Wang, Yang Zhou, Guanglu Song, Dailan He, Shuo Qin, Zhuofan Zong, Bingqi Ma, Yu Liu, Hongsheng Li

cs.AI

Abstract

Lo scambio di volti nei video sta diventando sempre più popolare in varie applicazioni, tuttavia i metodi esistenti si concentrano principalmente su immagini statiche e faticano con lo scambio di volti nei video a causa della coerenza temporale e di scenari complessi. In questo articolo, presentiamo il primo framework basato sulla diffusione appositamente progettato per lo scambio di volti nei video. Il nostro approccio introduce un innovativo framework di addestramento ibrido immagine-video che sfrutta sia dati abbondanti di immagini statiche che sequenze video temporali, affrontando le limitazioni intrinseche dell'addestramento solo su video. Il framework incorpora un modello di diffusione appositamente progettato accoppiato con un VidFaceVAE che elabora efficacemente entrambi i tipi di dati per mantenere meglio la coerenza temporale dei video generati. Per disentangle ulteriormente le caratteristiche di identità e posa, costruiamo il Dataset di Tripletto di Disintegrazione Attributo-Identità (AIDT), in cui ogni tripletto ha tre immagini del volto, con due immagini che condividono la stessa posa e due che condividono la stessa identità. Potenziato con un'ampia augmentazione delle occlusioni, questo dataset migliora anche la robustezza contro le occlusioni. Inoltre, integriamo tecniche di ricostruzione 3D come condizionamento dell'input alla nostra rete per gestire grandi variazioni di posa. Estesi esperimenti dimostrano che il nostro framework raggiunge prestazioni superiori nella conservazione dell'identità, nella coerenza temporale e nella qualità visiva rispetto ai metodi esistenti, richiedendo meno passaggi di inferenza. Il nostro approccio mitiga efficacemente le sfide chiave nello scambio di volti nei video, inclusi sfarfallii temporali, conservazione dell'identità e robustezza alle occlusioni e alle variazioni di posa.

English

Video face swapping is becoming increasingly popular across various applications, yet existing methods primarily focus on static images and struggle with video face swapping because of temporal consistency and complex scenarios. In this paper, we present the first diffusion-based framework specifically designed for video face swapping. Our approach introduces a novel image-video hybrid training framework that leverages both abundant static image data and temporal video sequences, addressing the inherent limitations of video-only training. The framework incorporates a specially designed diffusion model coupled with a VidFaceVAE that effectively processes both types of data to better maintain temporal coherence of the generated videos. To further disentangle identity and pose features, we construct the Attribute-Identity Disentanglement Triplet (AIDT) Dataset, where each triplet has three face images, with two images sharing the same pose and two sharing the same identity. Enhanced with a comprehensive occlusion augmentation, this dataset also improves robustness against occlusions. Additionally, we integrate 3D reconstruction techniques as input conditioning to our network for handling large pose variations. Extensive experiments demonstrate that our framework achieves superior performance in identity preservation, temporal consistency, and visual quality compared to existing methods, while requiring fewer inference steps. Our approach effectively mitigates key challenges in video face swapping, including temporal flickering, identity preservation, and robustness to occlusions and pose variations.