AniDoc: アニメーション制作をより簡単にする

AniDoc: Animation Creation Made Easier

December 18, 2024

著者: Yihao Meng, Hao Ouyang, Hanlin Wang, Qiuyu Wang, Wen Wang, Ka Leong Cheng, Zhiheng Liu, Yujun Shen, Huamin Qu

cs.AI

要旨

2Dアニメーションの制作は、業界標準のワークフローに従い、キャラクターデザイン、キーフレームアニメーション、中割り、および着色という4つの重要な段階を含んでいます。私たちの研究は、ますます強力になる生成AIの潜在能力を活用し、上記のプロセスにおける労働コストを削減することに焦点を当てています。ビデオ拡散モデルを基盤として使用することで、AniDocはビデオラインアートの着色ツールとして登場し、スケッチシーケンスを自動的に着色アニメーションに変換し、参照キャラクターの仕様に従います。私たちのモデルは、対応マッチングを明示的なガイダンスとして活用し、参照キャラクターと各ラインアートフレームの変動（例：ポーズ）に対する強力な頑健性を実現します。さらに、ユーザーがキャラクター画像と開始および終了スケッチを提供するだけで、中割りプロセスさえ自動化できるため、時間的に整合性の取れたアニメーションを簡単に作成できます。私たちのコードは以下で入手可能です：https://yihao-meng.github.io/AniDoc_demo.

English

The production of 2D animation follows an industry-standard workflow, encompassing four essential stages: character design, keyframe animation, in-betweening, and coloring. Our research focuses on reducing the labor costs in the above process by harnessing the potential of increasingly powerful generative AI. Using video diffusion models as the foundation, AniDoc emerges as a video line art colorization tool, which automatically converts sketch sequences into colored animations following the reference character specification. Our model exploits correspondence matching as an explicit guidance, yielding strong robustness to the variations (e.g., posture) between the reference character and each line art frame. In addition, our model could even automate the in-betweening process, such that users can easily create a temporally consistent animation by simply providing a character image as well as the start and end sketches. Our code is available at: https://yihao-meng.github.io/AniDoc_demo.