TransPixar: Avanzamento della Generazione Testo-Video con Trasparenza

TransPixar: Advancing Text-to-Video Generation with Transparency

January 6, 2025

Autori: Luozhou Wang, Yijun Li, Zhifei Chen, Jui-Hsien Wang, Zhifei Zhang, He Zhang, Zhe Lin, Yingcong Chen

cs.AI

Abstract

I modelli generativi testo-video hanno compiuto progressi significativi, consentendo diverse applicazioni nell'intrattenimento, nella pubblicità e nell'istruzione. Tuttavia, la generazione di video RGBA, che include canali alfa per la trasparenza, rimane una sfida a causa dei dataset limitati e della difficoltà di adattare i modelli esistenti. I canali alfa sono cruciali per gli effetti visivi (VFX), consentendo agli elementi trasparenti come fumo e riflessi di fondersi senza soluzione di continuità nelle scene. Presentiamo TransPixar, un metodo per estendere i modelli video preaddestrati per la generazione RGBA mantenendo le capacità RGB originali. TransPixar sfrutta un'architettura di trasformatore a diffusione (DiT), incorporando token specifici per l'alfa e utilizzando il fine-tuning basato su LoRA per generare congiuntamente i canali RGB e alfa con elevata coerenza. Ottimizzando i meccanismi di attenzione, TransPixar preserva i punti di forza del modello RGB originale e raggiunge un forte allineamento tra i canali RGB e alfa nonostante i dati di addestramento limitati. Il nostro approccio genera efficacemente video RGBA diversi e coerenti, avanzando le possibilità per gli effetti visivi e la creazione di contenuti interattivi.

English

Text-to-video generative models have made significant strides, enabling diverse applications in entertainment, advertising, and education. However, generating RGBA video, which includes alpha channels for transparency, remains a challenge due to limited datasets and the difficulty of adapting existing models. Alpha channels are crucial for visual effects (VFX), allowing transparent elements like smoke and reflections to blend seamlessly into scenes. We introduce TransPixar, a method to extend pretrained video models for RGBA generation while retaining the original RGB capabilities. TransPixar leverages a diffusion transformer (DiT) architecture, incorporating alpha-specific tokens and using LoRA-based fine-tuning to jointly generate RGB and alpha channels with high consistency. By optimizing attention mechanisms, TransPixar preserves the strengths of the original RGB model and achieves strong alignment between RGB and alpha channels despite limited training data. Our approach effectively generates diverse and consistent RGBA videos, advancing the possibilities for VFX and interactive content creation.