ConceptMaster: Personalizzazione video multi-concetto su modelli Transformer di diffusione senza sintonizzazione durante il test.

ConceptMaster: Multi-Concept Video Customization on Diffusion Transformer Models Without Test-Time Tuning

January 8, 2025

Autori: Yuzhou Huang, Ziyang Yuan, Quande Liu, Qiulin Wang, Xintao Wang, Ruimao Zhang, Pengfei Wan, Di Zhang, Kun Gai

cs.AI

Abstract

La generazione di video da testo ha fatto progressi notevoli attraverso modelli di diffusione. Tuttavia, la Personalizzazione Video Multi-Concetto (MCVC) rimane una sfida significativa. Identifichiamo due sfide chiave in questo compito: 1) il problema dello scollegamento dell'identità, dove l'adozione diretta dei metodi di personalizzazione esistenti mescola inevitabilmente attributi quando si gestiscono contemporaneamente più concetti, e 2) la scarsità di coppie video-entità di alta qualità, che è cruciale per addestrare un modello che rappresenti e scolleghi vari concetti in modo efficace. Per affrontare queste sfide, presentiamo ConceptMaster, un framework innovativo che affronta in modo efficace le questioni critiche dello scollegamento dell'identità mantenendo al contempo la fedeltà al concetto nei video personalizzati. In particolare, introduciamo una nuova strategia di apprendimento di embedding multi-concetto scollegati che vengono iniettati nei modelli di diffusione in modo autonomo, garantendo efficacemente la qualità dei video personalizzati con identità multiple, anche per concetti visivi altamente simili. Per superare ulteriormente la scarsità di dati MCVC di alta qualità, stabiliamo attentamente un flusso di costruzione dei dati, che consente la raccolta sistematica di dati precisi video-entità multi-concetto attraverso concetti diversi. È stato progettato un benchmark completo per convalidare l'efficacia del nostro modello da tre dimensioni critiche: fedeltà al concetto, capacità di scollegamento dell'identità e qualità della generazione video attraverso sei diversi scenari di composizione concettuale. Estesi esperimenti dimostrano che il nostro ConceptMaster supera significativamente approcci precedenti per questo compito, aprendo la strada alla generazione di video personalizzati e semanticamente accurati attraverso più concetti.

English

Text-to-video generation has made remarkable advancements through diffusion models. However, Multi-Concept Video Customization (MCVC) remains a significant challenge. We identify two key challenges in this task: 1) the identity decoupling problem, where directly adopting existing customization methods inevitably mix attributes when handling multiple concepts simultaneously, and 2) the scarcity of high-quality video-entity pairs, which is crucial for training such a model that represents and decouples various concepts well. To address these challenges, we introduce ConceptMaster, an innovative framework that effectively tackles the critical issues of identity decoupling while maintaining concept fidelity in customized videos. Specifically, we introduce a novel strategy of learning decoupled multi-concept embeddings that are injected into the diffusion models in a standalone manner, which effectively guarantees the quality of customized videos with multiple identities, even for highly similar visual concepts. To further overcome the scarcity of high-quality MCVC data, we carefully establish a data construction pipeline, which enables systematic collection of precise multi-concept video-entity data across diverse concepts. A comprehensive benchmark is designed to validate the effectiveness of our model from three critical dimensions: concept fidelity, identity decoupling ability, and video generation quality across six different concept composition scenarios. Extensive experiments demonstrate that our ConceptMaster significantly outperforms previous approaches for this task, paving the way for generating personalized and semantically accurate videos across multiple concepts.