GS-DiT：擬似4Dガウス場を用いたビデオ生成の推進 効率的な密な3Dポイントトラッキングを通じて

GS-DiT: Advancing Video Generation with Pseudo 4D Gaussian Fields through Efficient Dense 3D Point Tracking

January 5, 2025

著者: Weikang Bian, Zhaoyang Huang, Xiaoyu Shi, Yijin Li, Fu-Yun Wang, Hongsheng Li

cs.AI

要旨

4Dビデオ制御は、マルチカメラ撮影やドリーズームなどの高度なレンズテクニックを可能にするため、ビデオ生成において不可欠です。これらのテクニックは、現行の方法ではサポートされていません。ビデオディフュージョントランスフォーマー（DiT）を直接4Dコンテンツの制御にトレーニングするには、高価なマルチビューのビデオが必要です。Monocular Dynamic novel View Synthesis（MDVS）に着想を得て、4D表現を最適化し、カメラの位置やオブジェクトの動きの編集など、異なる4D要素に従ってビデオをレンダリングするMDVSを用い、擬似4Dガウス場をビデオ生成に導入します。具体的には、密な3Dポイントトラッキングで擬似4Dガウス場を構築し、すべてのビデオフレームに対してガウス場をレンダリングする新しいフレームワークを提案します。その後、事前にトレーニングされたDiTを微調整して、レンダリングされたビデオのガイダンスに従ってビデオを生成するGS-DiTを提案します。GS-DiTのトレーニングを強化するために、擬似4Dガウス場の構築のための効率的な密な3Dポイントトラッキング（D3D-PT）メソッドも提案します。D3D-PTは、最先端の疎な3DポイントトラッキングメソッドであるSpatialTrackerを精度で上回り、推論速度を2桁向上させます。推論段階では、GS-DiTは同じ動的コンテンツを持ちながら異なるカメラパラメータに従うビデオを生成でき、現行のビデオ生成モデルの重要な制約を解決します。GS-DiTは強力な汎化能力を示し、Gaussian splattingの4D制御性をカメラ位置だけでなくビデオ生成にまで拡張します。ガウス場とカメラ固有の効果を操作することで、高度な映画効果をサポートし、クリエイティブなビデオ制作の強力なツールとなります。デモはhttps://wkbian.github.io/Projects/GS-DiT/でご覧いただけます。

English

4D video control is essential in video generation as it enables the use of sophisticated lens techniques, such as multi-camera shooting and dolly zoom, which are currently unsupported by existing methods. Training a video Diffusion Transformer (DiT) directly to control 4D content requires expensive multi-view videos. Inspired by Monocular Dynamic novel View Synthesis (MDVS) that optimizes a 4D representation and renders videos according to different 4D elements, such as camera pose and object motion editing, we bring pseudo 4D Gaussian fields to video generation. Specifically, we propose a novel framework that constructs a pseudo 4D Gaussian field with dense 3D point tracking and renders the Gaussian field for all video frames. Then we finetune a pretrained DiT to generate videos following the guidance of the rendered video, dubbed as GS-DiT. To boost the training of the GS-DiT, we also propose an efficient Dense 3D Point Tracking (D3D-PT) method for the pseudo 4D Gaussian field construction. Our D3D-PT outperforms SpatialTracker, the state-of-the-art sparse 3D point tracking method, in accuracy and accelerates the inference speed by two orders of magnitude. During the inference stage, GS-DiT can generate videos with the same dynamic content while adhering to different camera parameters, addressing a significant limitation of current video generation models. GS-DiT demonstrates strong generalization capabilities and extends the 4D controllability of Gaussian splatting to video generation beyond just camera poses. It supports advanced cinematic effects through the manipulation of the Gaussian field and camera intrinsics, making it a powerful tool for creative video production. Demos are available at https://wkbian.github.io/Projects/GS-DiT/.