Ingredienti: Miscelare Foto Personalizzate con Trasformatori di Diffusione Video

Ingredients: Blending Custom Photos with Video Diffusion Transformers

January 3, 2025

Autori: Zhengcong Fei, Debang Li, Di Qiu, Changqian Yu, Mingyuan Fan

cs.AI

Abstract

Questo articolo presenta un potente framework per personalizzare le creazioni video incorporando più foto di identità specifiche (ID), con trasformatori di diffusione video, denominati Ingredienti. In generale, il nostro metodo è composto da tre moduli principali: (i) un estrattore facciale che cattura caratteristiche facciali versatili e precise per ciascun ID umano da prospettive globali e locali; (ii) un proiettore multi-scala che mappa i rilevamenti facciali nello spazio contestuale della query di immagine nei trasformatori di diffusione video; (iii) un router ID che combina dinamicamente e assegna più rilevamenti ID alle regioni spazio-temporali corrispondenti. Sfruttando un dataset testo-video accuratamente curato e un protocollo di addestramento a più fasi, Ingredienti dimostra prestazioni superiori nel trasformare foto personalizzate in contenuti video dinamici e personalizzati. Valutazioni qualitative evidenziano i vantaggi del metodo proposto, posizionandolo come un significativo avanzamento verso strumenti di controllo video generativi più efficaci nell'architettura basata su Trasformatori, rispetto ai metodi esistenti. I dati, il codice e i pesi del modello sono disponibili pubblicamente su: https://github.com/feizc/Ingredients.

English

This paper presents a powerful framework to customize video creations by incorporating multiple specific identity (ID) photos, with video diffusion Transformers, referred to as Ingredients. Generally, our method consists of three primary modules: (i) a facial extractor that captures versatile and precise facial features for each human ID from both global and local perspectives; (ii) a multi-scale projector that maps face embeddings into the contextual space of image query in video diffusion transformers; (iii) an ID router that dynamically combines and allocates multiple ID embedding to the corresponding space-time regions. Leveraging a meticulously curated text-video dataset and a multi-stage training protocol, Ingredients demonstrates superior performance in turning custom photos into dynamic and personalized video content. Qualitative evaluations highlight the advantages of proposed method, positioning it as a significant advancement toward more effective generative video control tools in Transformer-based architecture, compared to existing methods. The data, code, and model weights are publicly available at: https://github.com/feizc/Ingredients.