DreamID: Hoogwaardige en snelle gezichtsverwisseling op basis van diffusie via Triplet ID Groepsleren

DreamID: High-Fidelity and Fast diffusion-based Face Swapping via Triplet ID Group Learning

April 20, 2025

Auteurs: Fulong Ye, Miao Hua, Pengze Zhang, Xinghui Li, Qichao Sun, Songtao Zhao, Qian He, Xinglong Wu

cs.AI

Samenvatting

In dit artikel introduceren we DreamID, een diffusiegebaseerd model voor gezichtsverwisseling dat een hoog niveau van ID-gelijkenis, attribuutbehoud, beeldkwaliteit en snelle inferentiesnelheid bereikt. In tegenstelling tot het typische trainingsproces voor gezichtsverwisseling, dat vaak afhankelijk is van impliciete supervisie en moeite heeft om bevredigende resultaten te behalen, stelt DreamID expliciete supervisie in voor gezichtsverwisseling door het construeren van Triplet ID Group data, wat de identiteitsgelijkenis en attribuutbehoud aanzienlijk verbetert. De iteratieve aard van diffusiemodellen vormt een uitdaging voor het gebruik van efficiënte beeldruimte-verliesfuncties, omdat het uitvoeren van tijdrovende multi-stap sampling om het gegenereerde beeld tijdens de training te verkrijgen onpraktisch is. Om dit probleem aan te pakken, maken we gebruik van het versnelde diffusiemodel SD Turbo, dat de inferentiestappen reduceert tot een enkele iteratie, waardoor efficiënte pixelgewijze end-to-end training met expliciete Triplet ID Group supervisie mogelijk wordt. Daarnaast stellen we een verbeterde diffusiegebaseerde modelarchitectuur voor, bestaande uit SwapNet, FaceNet en ID Adapter. Deze robuuste architectuur benut volledig de kracht van de expliciete supervisie van de Triplet ID Group. Tot slot passen we de Triplet ID Group data tijdens de training expliciet aan om specifieke attributen, zoals brillen en gezichtsvorm, te finetunen en te behouden. Uitgebreide experimenten tonen aan dat DreamID state-of-the-art methoden overtreft op het gebied van identiteitsgelijkenis, houding- en expressiebehoud, en beeldkwaliteit. Over het geheel genomen bereikt DreamID hoogwaardige resultaten voor gezichtsverwisseling bij een resolutie van 512*512 in slechts 0,6 seconden en presteert het uitstekend in uitdagende scenario's zoals complexe belichting, grote hoeken en occlusies.

English

In this paper, we introduce DreamID, a diffusion-based face swapping model that achieves high levels of ID similarity, attribute preservation, image fidelity, and fast inference speed. Unlike the typical face swapping training process, which often relies on implicit supervision and struggles to achieve satisfactory results. DreamID establishes explicit supervision for face swapping by constructing Triplet ID Group data, significantly enhancing identity similarity and attribute preservation. The iterative nature of diffusion models poses challenges for utilizing efficient image-space loss functions, as performing time-consuming multi-step sampling to obtain the generated image during training is impractical. To address this issue, we leverage the accelerated diffusion model SD Turbo, reducing the inference steps to a single iteration, enabling efficient pixel-level end-to-end training with explicit Triplet ID Group supervision. Additionally, we propose an improved diffusion-based model architecture comprising SwapNet, FaceNet, and ID Adapter. This robust architecture fully unlocks the power of the Triplet ID Group explicit supervision. Finally, to further extend our method, we explicitly modify the Triplet ID Group data during training to fine-tune and preserve specific attributes, such as glasses and face shape. Extensive experiments demonstrate that DreamID outperforms state-of-the-art methods in terms of identity similarity, pose and expression preservation, and image fidelity. Overall, DreamID achieves high-quality face swapping results at 512*512 resolution in just 0.6 seconds and performs exceptionally well in challenging scenarios such as complex lighting, large angles, and occlusions.