Ingredientes: Misturando Fotos Personalizadas com Transformadores de Difusão de Vídeo

Ingredients: Blending Custom Photos with Video Diffusion Transformers

January 3, 2025

Autores: Zhengcong Fei, Debang Li, Di Qiu, Changqian Yu, Mingyuan Fan

cs.AI

Resumo

Este artigo apresenta um framework poderoso para personalizar criações de vídeo incorporando múltiplas fotos de identidade específica, com difusores de vídeo Transformers, referidos como Ingredientes. Em geral, nosso método consiste em três módulos principais: (i) um extrator facial que captura características faciais versáteis e precisas para cada identificação humana a partir de perspectivas globais e locais; (ii) um projetor de múltiplas escalas que mapeia incorporações faciais no espaço contextual da consulta de imagem em difusores de vídeo; (iii) um roteador de ID que combina dinamicamente e aloca múltiplas incorporações de ID para as regiões espaço-temporais correspondentes. Aproveitando um conjunto de dados texto-vídeo meticulosamente curado e um protocolo de treinamento em múltiplas etapas, Ingredientes demonstra desempenho superior ao transformar fotos personalizadas em conteúdo de vídeo dinâmico e personalizado. Avaliações qualitativas destacam as vantagens do método proposto, posicionando-o como um avanço significativo em direção a ferramentas de controle generativo de vídeo mais eficazes em arquiteturas baseadas em Transformers, em comparação com métodos existentes. Os dados, código e pesos do modelo estão publicamente disponíveis em: https://github.com/feizc/Ingredients.

English

This paper presents a powerful framework to customize video creations by incorporating multiple specific identity (ID) photos, with video diffusion Transformers, referred to as Ingredients. Generally, our method consists of three primary modules: (i) a facial extractor that captures versatile and precise facial features for each human ID from both global and local perspectives; (ii) a multi-scale projector that maps face embeddings into the contextual space of image query in video diffusion transformers; (iii) an ID router that dynamically combines and allocates multiple ID embedding to the corresponding space-time regions. Leveraging a meticulously curated text-video dataset and a multi-stage training protocol, Ingredients demonstrates superior performance in turning custom photos into dynamic and personalized video content. Qualitative evaluations highlight the advantages of proposed method, positioning it as a significant advancement toward more effective generative video control tools in Transformer-based architecture, compared to existing methods. The data, code, and model weights are publicly available at: https://github.com/feizc/Ingredients.