MotiF: モーションフォーカル損失を用いた画像アニメーションにおけるテキストの重要性

要旨

Text-Image-to-Video（TI2V）生成は、画像からビデオを生成することを目指し、テキストの説明に従うものであり、これはテキストによる画像アニメーションとも呼ばれます。ほとんどの既存の手法は、特に動きが指定された場合に、テキストのプロンプトとよく整合するビデオを生成するのに苦労しています。この制限を克服するために、私たちはMotiFを導入します。これは、より多くの動きがある領域にモデルの学習を誘導するシンプルで効果的なアプローチです。これにより、テキストの整列と動きの生成が向上します。光流を使用して動きのヒートマップを生成し、動きの強度に応じて損失を重み付けします。この修正された目的は、顕著な改善をもたらし、モデル入力として動きの事前情報を利用する既存の手法を補完します。さらに、TI2V生成の評価のための多様なベンチマークが不足しているため、頑健な評価のために320の画像テキストペアからなるデータセットであるTI2V Benchを提案します。TI2V Benchでの包括的な評価を通じて、MotiFは9つのオープンソースモデルを上回り、平均的な選好度が72％に達する結果となりました。TI2V Benchはhttps://wang-sj16.github.io/motif/で公開されています。

English

Text-Image-to-Video (TI2V) generation aims to generate a video from an image following a text description, which is also referred to as text-guided image animation. Most existing methods struggle to generate videos that align well with the text prompts, particularly when motion is specified. To overcome this limitation, we introduce MotiF, a simple yet effective approach that directs the model's learning to the regions with more motion, thereby improving the text alignment and motion generation. We use optical flow to generate a motion heatmap and weight the loss according to the intensity of the motion. This modified objective leads to noticeable improvements and complements existing methods that utilize motion priors as model inputs. Additionally, due to the lack of a diverse benchmark for evaluating TI2V generation, we propose TI2V Bench, a dataset consists of 320 image-text pairs for robust evaluation. We present a human evaluation protocol that asks the annotators to select an overall preference between two videos followed by their justifications. Through a comprehensive evaluation on TI2V Bench, MotiF outperforms nine open-sourced models, achieving an average preference of 72%. The TI2V Bench is released in https://wang-sj16.github.io/motif/.

MotiF: モーションフォーカル損失を用いた画像アニメーションにおけるテキストの重要性

MotiF: Making Text Count in Image Animation with Motion Focal Loss

要旨

Summary

Support

Support