Codificação Automática de Vídeo de Grandes Movimentos com VAE de Vídeo Multimodal

Large Motion Video Autoencoding with Cross-modal Video VAE

December 23, 2024

Autores: Yazhou Xing, Yang Fei, Yingqing He, Jingye Chen, Jiaxin Xie, Xiaowei Chi, Qifeng Chen

cs.AI

Resumo

Aprender um robusto Autoencoder Variacional de Vídeo (VAE) é essencial para reduzir a redundância de vídeo e facilitar a geração eficiente de vídeo. Aplicar diretamente VAEs de imagem a quadros individuais de forma isolada pode resultar em inconsistências temporais e taxas de compressão subótimas devido à falta de compressão temporal. Os VAEs de Vídeo existentes começaram a abordar a compressão temporal; no entanto, frequentemente sofrem de desempenho de reconstrução inadequado. Neste artigo, apresentamos um autoencoder de vídeo inovador e poderoso capaz de codificação de vídeo de alta fidelidade. Primeiramente, observamos que entrelaçar compressão espacial e temporal simplesmente estendendo o VAE de imagem para um VAE 3D pode introduzir artefatos de desfoque de movimento e distorção de detalhes. Portanto, propomos uma compressão espacial consciente do tempo para melhor codificar e decodificar a informação espacial. Além disso, integramos um modelo de compressão de movimento leve para uma maior compressão temporal. Em segundo lugar, propomos aproveitar a informação textual inerente em conjuntos de dados de texto-para-vídeo e incorporar orientação de texto em nosso modelo. Isso melhora significativamente a qualidade de reconstrução, especialmente em termos de preservação de detalhes e estabilidade temporal. Em terceiro lugar, melhoramos ainda mais a versatilidade de nosso modelo por meio de treinamento conjunto em imagens e vídeos, o que não só melhora a qualidade de reconstrução, mas também permite que o modelo realize tanto a autoencodificação de imagem quanto de vídeo. Avaliações extensas contra bases recentes fortes demonstram o desempenho superior de nosso método. O site do projeto pode ser encontrado em https://yzxing87.github.io/vae/.

English

Learning a robust video Variational Autoencoder (VAE) is essential for reducing video redundancy and facilitating efficient video generation. Directly applying image VAEs to individual frames in isolation can result in temporal inconsistencies and suboptimal compression rates due to a lack of temporal compression. Existing Video VAEs have begun to address temporal compression; however, they often suffer from inadequate reconstruction performance. In this paper, we present a novel and powerful video autoencoder capable of high-fidelity video encoding. First, we observe that entangling spatial and temporal compression by merely extending the image VAE to a 3D VAE can introduce motion blur and detail distortion artifacts. Thus, we propose temporal-aware spatial compression to better encode and decode the spatial information. Additionally, we integrate a lightweight motion compression model for further temporal compression. Second, we propose to leverage the textual information inherent in text-to-video datasets and incorporate text guidance into our model. This significantly enhances reconstruction quality, particularly in terms of detail preservation and temporal stability. Third, we further improve the versatility of our model through joint training on both images and videos, which not only enhances reconstruction quality but also enables the model to perform both image and video autoencoding. Extensive evaluations against strong recent baselines demonstrate the superior performance of our method. The project website can be found at~https://yzxing87.github.io/vae/{https://yzxing87.github.io/vae/}.