ConceptMaster: Mehrkonzept-Videoanpassung auf Diffusionstransformationsmodellen ohne Abstimmung zur Testzeit

ConceptMaster: Multi-Concept Video Customization on Diffusion Transformer Models Without Test-Time Tuning

January 8, 2025

Autoren: Yuzhou Huang, Ziyang Yuan, Quande Liu, Qiulin Wang, Xintao Wang, Ruimao Zhang, Pengfei Wan, Di Zhang, Kun Gai

cs.AI

Zusammenfassung

Die Generierung von Text-zu-Video hat bemerkenswerte Fortschritte durch Diffusionsmodelle gemacht. Allerdings bleibt die Multi-Konzept Video-Anpassung (MCVC) eine signifikante Herausforderung. Wir identifizieren zwei Schlüsselherausforderungen bei dieser Aufgabe: 1) das Identitätsentkopplungsproblem, bei dem die direkte Übernahme bestehender Anpassungsmethoden zwangsläufig Attribute vermischen, wenn mehrere Konzepte gleichzeitig behandelt werden, und 2) die Knappheit von hochwertigen Video-Entitäts-Paaren, die entscheidend für das Training eines solchen Modells sind, das verschiedene Konzepte gut darstellt und entkoppelt. Um diesen Herausforderungen zu begegnen, stellen wir ConceptMaster vor, ein innovatives Framework, das die kritischen Probleme des Identitätsentkopplungs effektiv angeht, während es die Konzepttreue in individualisierten Videos beibehält. Speziell führen wir eine neuartige Strategie des Lernens von entkoppelten Multi-Konzept-Einbettungen ein, die auf eigenständige Weise in die Diffusionsmodelle eingespeist werden, was effektiv die Qualität individualisierter Videos mit mehreren Identitäten gewährleistet, selbst für hochgradig ähnliche visuelle Konzepte. Um die Knappheit von hochwertigen MCVC-Daten weiter zu überwinden, etablieren wir sorgfältig eine Datenkonstruktionspipeline, die eine systematische Sammlung präziser Multi-Konzept-Video-Entitäts-Daten über verschiedene Konzepte ermöglicht. Ein umfassender Benchmark wird entworfen, um die Wirksamkeit unseres Modells aus drei kritischen Dimensionen zu validieren: Konzepttreue, Identitätsentkopplungsfähigkeit und Video-Generierungsqualität über sechs verschiedene Konzeptzusammensetzungs-Szenarien hinweg. Umfangreiche Experimente zeigen, dass unser ConceptMaster signifikant besser abschneidet als bisherige Ansätze für diese Aufgabe und den Weg ebnet für die Generierung personalisierter und semantisch genauer Videos über verschiedene Konzepte hinweg.

English

Text-to-video generation has made remarkable advancements through diffusion models. However, Multi-Concept Video Customization (MCVC) remains a significant challenge. We identify two key challenges in this task: 1) the identity decoupling problem, where directly adopting existing customization methods inevitably mix attributes when handling multiple concepts simultaneously, and 2) the scarcity of high-quality video-entity pairs, which is crucial for training such a model that represents and decouples various concepts well. To address these challenges, we introduce ConceptMaster, an innovative framework that effectively tackles the critical issues of identity decoupling while maintaining concept fidelity in customized videos. Specifically, we introduce a novel strategy of learning decoupled multi-concept embeddings that are injected into the diffusion models in a standalone manner, which effectively guarantees the quality of customized videos with multiple identities, even for highly similar visual concepts. To further overcome the scarcity of high-quality MCVC data, we carefully establish a data construction pipeline, which enables systematic collection of precise multi-concept video-entity data across diverse concepts. A comprehensive benchmark is designed to validate the effectiveness of our model from three critical dimensions: concept fidelity, identity decoupling ability, and video generation quality across six different concept composition scenarios. Extensive experiments demonstrate that our ConceptMaster significantly outperforms previous approaches for this task, paving the way for generating personalized and semantically accurate videos across multiple concepts.