TransPixar: Avançando na Geração de Vídeo a partir de Texto com Transparência

TransPixar: Advancing Text-to-Video Generation with Transparency

January 6, 2025

Autores: Luozhou Wang, Yijun Li, Zhifei Chen, Jui-Hsien Wang, Zhifei Zhang, He Zhang, Zhe Lin, Yingcong Chen

cs.AI

Resumo

Os modelos generativos de texto para vídeo deram passos significativos, possibilitando diversas aplicações em entretenimento, publicidade e educação. No entanto, a geração de vídeo RGBA, que inclui canais alfa para transparência, continua sendo um desafio devido a conjuntos de dados limitados e à dificuldade de adaptar modelos existentes. Os canais alfa são cruciais para efeitos visuais (VFX), permitindo que elementos transparentes como fumaça e reflexos se misturem perfeitamente às cenas. Apresentamos o TransPixar, um método para estender modelos de vídeo pré-treinados para geração RGBA, mantendo as capacidades originais RGB. O TransPixar aproveita uma arquitetura de transformador de difusão (DiT), incorporando tokens específicos para alfa e utilizando ajuste fino baseado em LoRA para gerar conjuntamente os canais RGB e alfa com alta consistência. Ao otimizar os mecanismos de atenção, o TransPixar preserva os pontos fortes do modelo RGB original e alcança uma forte alinhamento entre os canais RGB e alfa, apesar dos dados de treinamento limitados. Nossa abordagem gera efetivamente vídeos RGBA diversos e consistentes, avançando as possibilidades para VFX e criação de conteúdo interativo.

English

Text-to-video generative models have made significant strides, enabling diverse applications in entertainment, advertising, and education. However, generating RGBA video, which includes alpha channels for transparency, remains a challenge due to limited datasets and the difficulty of adapting existing models. Alpha channels are crucial for visual effects (VFX), allowing transparent elements like smoke and reflections to blend seamlessly into scenes. We introduce TransPixar, a method to extend pretrained video models for RGBA generation while retaining the original RGB capabilities. TransPixar leverages a diffusion transformer (DiT) architecture, incorporating alpha-specific tokens and using LoRA-based fine-tuning to jointly generate RGB and alpha channels with high consistency. By optimizing attention mechanisms, TransPixar preserves the strengths of the original RGB model and achieves strong alignment between RGB and alpha channels despite limited training data. Our approach effectively generates diverse and consistent RGBA videos, advancing the possibilities for VFX and interactive content creation.