ベクトル量子化を使用しない自己回帰型ビデオ生成

Autoregressive Video Generation without Vector Quantization

December 18, 2024

著者: Haoge Deng, Ting Pan, Haiwen Diao, Zhengxiong Luo, Yufeng Cui, Huchuan Lu, Shiguang Shan, Yonggang Qi, Xinlong Wang

cs.AI

要旨

この論文では、高い効率性を持つ自己回帰的なビデオ生成を実現する革新的なアプローチを提案します。我々は、ビデオ生成問題を、時間的なフレームごとの予測と空間的なセットごとの予測の非量子化された自己回帰モデリングとして再定式化することを提案します。従来の自己回帰モデルにおけるラスタースキャン予測や拡散モデルにおける固定長トークンの共同分布モデリングとは異なり、我々のアプローチは、柔軟なインコンテキスト機能のためにGPTスタイルのモデルの因果特性を維持しつつ、個々のフレーム内での双方向モデリングを活用しています。提案された手法により、ベクトル量子化を行わない新しいビデオ自己回帰モデル「NOVA」を訓練します。我々の結果は、NOVAが、0.6Bパラメータというはるかに小さなモデル容量でも、データ効率性、推論速度、視覚的忠実度、およびビデオの流暢性において、従来の自己回帰ビデオモデルを上回ることを示しています。NOVAは、画像拡散モデルにおいても、テキストから画像への生成タスクにおいても、大幅に低い訓練コストで最先端の性能を発揮します。さらに、NOVAは、拡張されたビデオの長時間にわたる汎化をうまく行い、統一されたモデル内で多様なゼロショットアプリケーションを可能にします。コードとモデルは、https://github.com/baaivision/NOVA で公開されています。

English

This paper presents a novel approach that enables autoregressive video generation with high efficiency. We propose to reformulate the video generation problem as a non-quantized autoregressive modeling of temporal frame-by-frame prediction and spatial set-by-set prediction. Unlike raster-scan prediction in prior autoregressive models or joint distribution modeling of fixed-length tokens in diffusion models, our approach maintains the causal property of GPT-style models for flexible in-context capabilities, while leveraging bidirectional modeling within individual frames for efficiency. With the proposed approach, we train a novel video autoregressive model without vector quantization, termed NOVA. Our results demonstrate that NOVA surpasses prior autoregressive video models in data efficiency, inference speed, visual fidelity, and video fluency, even with a much smaller model capacity, i.e., 0.6B parameters. NOVA also outperforms state-of-the-art image diffusion models in text-to-image generation tasks, with a significantly lower training cost. Additionally, NOVA generalizes well across extended video durations and enables diverse zero-shot applications in one unified model. Code and models are publicly available at https://github.com/baaivision/NOVA.