クロスモーダルビデオVAEを用いた大規模動画オートエンコーディング

Large Motion Video Autoencoding with Cross-modal Video VAE

December 23, 2024

著者: Yazhou Xing, Yang Fei, Yingqing He, Jingye Chen, Jiaxin Xie, Xiaowei Chi, Qifeng Chen

cs.AI

要旨

頑健なビデオ変分オートエンコーダ（VAE）を学習することは、ビデオの冗長性を減らし、効率的なビデオ生成を促進するために不可欠です。個々のフレームに画像VAEを直接適用することは、時間的な不整合や最適でない圧縮率を引き起こす可能性があります。既存のビデオVAEは時間的な圧縮に取り組み始めていますが、しばしば不十分な再構成性能に苦しんでいます。本論文では、高品質なビデオエンコーディングが可能な新しい強力なビデオオートエンコーダを提案します。まず、画像VAEを3D VAEに拡張するだけで空間と時間の圧縮を絡めることが、動きのぼやけや詳細の歪みのアーティファクトを導入する可能性があることに気付きました。したがって、空間情報をより良く符号化および復号化するために時間に注意した空間圧縮を提案します。さらに、軽量な動きの圧縮モデルを統合して、時間的な圧縮をさらに向上させます。次に、テキストからビデオデータセットに固有のテキスト情報を活用し、モデルにテキストガイダンスを組み込みます。これにより、再構成品質が大幅に向上し、特に詳細の保存と時間的な安定性が向上します。さらに、画像とビデオの両方についての共同トレーニングを通じて、モデルの汎用性をさらに向上させます。これにより、再構成品質が向上するだけでなく、画像とビデオの両方のオートエンコーディングを実行できるようになります。強力な最近のベースラインに対する包括的な評価は、当社の手法の優れた性能を示しています。プロジェクトのウェブサイトは、https://yzxing87.github.io/vae/ で見つけることができます。

English

Learning a robust video Variational Autoencoder (VAE) is essential for reducing video redundancy and facilitating efficient video generation. Directly applying image VAEs to individual frames in isolation can result in temporal inconsistencies and suboptimal compression rates due to a lack of temporal compression. Existing Video VAEs have begun to address temporal compression; however, they often suffer from inadequate reconstruction performance. In this paper, we present a novel and powerful video autoencoder capable of high-fidelity video encoding. First, we observe that entangling spatial and temporal compression by merely extending the image VAE to a 3D VAE can introduce motion blur and detail distortion artifacts. Thus, we propose temporal-aware spatial compression to better encode and decode the spatial information. Additionally, we integrate a lightweight motion compression model for further temporal compression. Second, we propose to leverage the textual information inherent in text-to-video datasets and incorporate text guidance into our model. This significantly enhances reconstruction quality, particularly in terms of detail preservation and temporal stability. Third, we further improve the versatility of our model through joint training on both images and videos, which not only enhances reconstruction quality but also enables the model to perform both image and video autoencoding. Extensive evaluations against strong recent baselines demonstrate the superior performance of our method. The project website can be found at~https://yzxing87.github.io/vae/{https://yzxing87.github.io/vae/}.