VideoAnydoor: 高精細ビデオオブジェクト挿入と正確なモーション制御

VideoAnydoor: High-fidelity Video Object Insertion with Precise Motion Control

January 2, 2025

著者: Yuanpeng Tu, Hao Luo, Xi Chen, Sihui Ji, Xiang Bai, Hengshuang Zhao

cs.AI

要旨

ビデオ生成の大幅な進歩があるにもかかわらず、特定のオブジェクトをビデオに挿入することは依然として難しい課題です。その難しさは、参照オブジェクトの外観詳細を保持し、同時に一貫した動きを正確にモデリングすることにあります。本論文では、高忠実度の詳細保存と正確なモーション制御を備えたゼロショットビデオオブジェクト挿入フレームワークであるVideoAnydoorを提案します。テキストからビデオモデルを起点とし、ID抽出器を使用してグローバルなアイデンティティを注入し、ボックスシーケンスを活用して全体の動きを制御します。詳細な外観を保存し、同時に細かいモーション制御をサポートするために、ピクセルワーパーを設計します。これは、任意のキーポイントを持つ参照画像と対応するキーポイントの軌跡を入力として受け取ります。軌跡に従ってピクセルの詳細を変形させ、変形した特徴を拡散U-Netと融合させることで、詳細の保存を向上させ、モーション軌跡の操作を支援します。さらに、ビデオと静止画の両方を使用し、再重み付け再構成損失を含むトレーニング戦略を提案して、挿入品質を向上させます。VideoAnydoorは、既存の手法に比べて著しい優位性を示し、タスク固有の微調整なしで、トーキングヘッド生成、ビデオ仮想試着、マルチリージョン編集など、さまざまな下流アプリケーションを自然にサポートします。

English

Despite significant advancements in video generation, inserting a given object into videos remains a challenging task. The difficulty lies in preserving the appearance details of the reference object and accurately modeling coherent motions at the same time. In this paper, we propose VideoAnydoor, a zero-shot video object insertion framework with high-fidelity detail preservation and precise motion control. Starting from a text-to-video model, we utilize an ID extractor to inject the global identity and leverage a box sequence to control the overall motion. To preserve the detailed appearance and meanwhile support fine-grained motion control, we design a pixel warper. It takes the reference image with arbitrary key-points and the corresponding key-point trajectories as inputs. It warps the pixel details according to the trajectories and fuses the warped features with the diffusion U-Net, thus improving detail preservation and supporting users in manipulating the motion trajectories. In addition, we propose a training strategy involving both videos and static images with a reweight reconstruction loss to enhance insertion quality. VideoAnydoor demonstrates significant superiority over existing methods and naturally supports various downstream applications (e.g., talking head generation, video virtual try-on, multi-region editing) without task-specific fine-tuning.