DreamID: Hochwertiger und schneller Gesichtstausch auf Diffusionsbasis durch Triplet-ID-Gruppenlernen

DreamID: High-Fidelity and Fast diffusion-based Face Swapping via Triplet ID Group Learning

April 20, 2025

Autoren: Fulong Ye, Miao Hua, Pengze Zhang, Xinghui Li, Qichao Sun, Songtao Zhao, Qian He, Xinglong Wu

cs.AI

Zusammenfassung

In diesem Artikel stellen wir DreamID vor, ein diffusionsbasiertes Gesichtstauschmodell, das ein hohes Maß an ID-Ähnlichkeit, Attributerhaltung, Bildtreue und schneller Inferenzgeschwindigkeit erreicht. Im Gegensatz zum typischen Trainingsprozess für Gesichtstausch, der oft auf impliziter Überwachung beruht und Schwierigkeiten hat, zufriedenstellende Ergebnisse zu erzielen, etabliert DreamID eine explizite Überwachung für den Gesichtstausch durch die Konstruktion von Triplet-ID-Gruppen-Daten, was die Identitätsähnlichkeit und Attributerhaltung erheblich verbessert. Die iterative Natur von Diffusionsmodellen stellt Herausforderungen für die Nutzung effizienter Bildraum-Verlustfunktionen dar, da es unpraktisch ist, zeitaufwändige Mehrschritt-Sampling-Verfahren während des Trainings durchzuführen, um das generierte Bild zu erhalten. Um dieses Problem zu lösen, nutzen wir das beschleunigte Diffusionsmodell SD Turbo, das die Inferenzschritte auf eine einzige Iteration reduziert und so ein effizientes pixelbasiertes End-to-End-Training mit expliziter Triplet-ID-Gruppen-Überwachung ermöglicht. Zusätzlich schlagen wir eine verbesserte diffusionsbasierte Modellarchitektur vor, die aus SwapNet, FaceNet und ID Adapter besteht. Diese robuste Architektur entfaltet das volle Potenzial der expliziten Triplet-ID-Gruppen-Überwachung. Schließlich erweitern wir unsere Methode, indem wir die Triplet-ID-Gruppen-Daten während des Trainings explizit modifizieren, um spezifische Attribute wie Brillen und Gesichtsform zu feinabstimmen und zu erhalten. Umfangreiche Experimente zeigen, dass DreamID state-of-the-art-Methoden in Bezug auf Identitätsähnlichkeit, Pose- und Ausdruckserhaltung sowie Bildtreue übertrifft. Insgesamt erzielt DreamID hochwertige Gesichtstauschergebnisse bei einer Auflösung von 512*512 in nur 0,6 Sekunden und schneidet in anspruchsvollen Szenarien wie komplexer Beleuchtung, großen Winkeln und Verdeckungen besonders gut ab.

English

In this paper, we introduce DreamID, a diffusion-based face swapping model that achieves high levels of ID similarity, attribute preservation, image fidelity, and fast inference speed. Unlike the typical face swapping training process, which often relies on implicit supervision and struggles to achieve satisfactory results. DreamID establishes explicit supervision for face swapping by constructing Triplet ID Group data, significantly enhancing identity similarity and attribute preservation. The iterative nature of diffusion models poses challenges for utilizing efficient image-space loss functions, as performing time-consuming multi-step sampling to obtain the generated image during training is impractical. To address this issue, we leverage the accelerated diffusion model SD Turbo, reducing the inference steps to a single iteration, enabling efficient pixel-level end-to-end training with explicit Triplet ID Group supervision. Additionally, we propose an improved diffusion-based model architecture comprising SwapNet, FaceNet, and ID Adapter. This robust architecture fully unlocks the power of the Triplet ID Group explicit supervision. Finally, to further extend our method, we explicitly modify the Triplet ID Group data during training to fine-tune and preserve specific attributes, such as glasses and face shape. Extensive experiments demonstrate that DreamID outperforms state-of-the-art methods in terms of identity similarity, pose and expression preservation, and image fidelity. Overall, DreamID achieves high-quality face swapping results at 512*512 resolution in just 0.6 seconds and performs exceptionally well in challenging scenarios such as complex lighting, large angles, and occlusions.