Codifica automatica di video con ampi movimenti tramite VAE video cross-modale

Large Motion Video Autoencoding with Cross-modal Video VAE

December 23, 2024

Autori: Yazhou Xing, Yang Fei, Yingqing He, Jingye Chen, Jiaxin Xie, Xiaowei Chi, Qifeng Chen

cs.AI

Abstract

Apprendere un robusto Variational Autoencoder (VAE) video è essenziale per ridurre la ridondanza dei video e facilitare la generazione efficiente di video. Applicare direttamente i VAE delle immagini ai singoli frame in modo isolato può portare a inconsistenze temporali e a tassi di compressione subottimali a causa di una mancanza di compressione temporale. I VAE video esistenti hanno iniziato ad affrontare la compressione temporale; tuttavia, spesso soffrono di una prestazione di ricostruzione inadeguata. In questo articolo, presentiamo un autoencoder video innovativo e potente in grado di codificare video ad alta fedeltà. In primo luogo, osserviamo che intrecciare la compressione spaziale e temporale semplicemente estendendo il VAE delle immagini a un VAE 3D può introdurre sfocature da movimento e artefatti di distorsione dei dettagli. Pertanto, proponiamo una compressione spaziale consapevole del tempo per codificare e decodificare meglio le informazioni spaziali. Inoltre, integriamo un modello di compressione del movimento leggero per una ulteriore compressione temporale. In secondo luogo, proponiamo di sfruttare le informazioni testuali intrinseche nei dataset testo-video e incorporare la guida testuale nel nostro modello. Questo migliora significativamente la qualità della ricostruzione, in particolare per quanto riguarda la conservazione dei dettagli e la stabilità temporale. In terzo luogo, miglioriamo ulteriormente la versatilità del nostro modello attraverso un addestramento congiunto su immagini e video, che non solo migliora la qualità della ricostruzione ma consente anche al modello di eseguire sia la codifica automatica delle immagini che dei video. Valutazioni approfondite rispetto a basi recenti e solide dimostrano le prestazioni superiori del nostro metodo. Il sito web del progetto può essere trovato su https://yzxing87.github.io/vae/.

English

Learning a robust video Variational Autoencoder (VAE) is essential for reducing video redundancy and facilitating efficient video generation. Directly applying image VAEs to individual frames in isolation can result in temporal inconsistencies and suboptimal compression rates due to a lack of temporal compression. Existing Video VAEs have begun to address temporal compression; however, they often suffer from inadequate reconstruction performance. In this paper, we present a novel and powerful video autoencoder capable of high-fidelity video encoding. First, we observe that entangling spatial and temporal compression by merely extending the image VAE to a 3D VAE can introduce motion blur and detail distortion artifacts. Thus, we propose temporal-aware spatial compression to better encode and decode the spatial information. Additionally, we integrate a lightweight motion compression model for further temporal compression. Second, we propose to leverage the textual information inherent in text-to-video datasets and incorporate text guidance into our model. This significantly enhances reconstruction quality, particularly in terms of detail preservation and temporal stability. Third, we further improve the versatility of our model through joint training on both images and videos, which not only enhances reconstruction quality but also enables the model to perform both image and video autoencoding. Extensive evaluations against strong recent baselines demonstrate the superior performance of our method. The project website can be found at~https://yzxing87.github.io/vae/{https://yzxing87.github.io/vae/}.