MangaNinja: 正確な参照に従った線画の着色

MangaNinja: Line Art Colorization with Precise Reference Following

January 14, 2025

著者: Zhiheng Liu, Ka Leong Cheng, Xi Chen, Jie Xiao, Hao Ouyang, Kai Zhu, Yu Liu, Yujun Shen, Qifeng Chen, Ping Luo

cs.AI

要旨

拡散モデルから派生したMangaNinjiaは、リファレンスに基づいた線画の着色タスクに特化しています。参照カラー画像と対象の線画との間の対応学習を容易にするパッチシャッフリングモジュールを組み込み、キャラクターの詳細な転写を確実にするための2つの慎重に設計された要素を取り入れています。また、細かい色のマッチングを可能にするポイント駆動型制御スキームを採用しています。自己収集したベンチマークでの実験により、当社のモデルが正確な着色において現行ソリューションよりも優れていることが示されています。さらに、提案されたインタラクティブなポイント制御の可能性を紹介し、既存のアルゴリズムでは到達できない難しいケース、クロスキャラクターの着色、複数のリファレンスの調和に対処する能力を示しています。

English

Derived from diffusion models, MangaNinjia specializes in the task of reference-guided line art colorization. We incorporate two thoughtful designs to ensure precise character detail transcription, including a patch shuffling module to facilitate correspondence learning between the reference color image and the target line art, and a point-driven control scheme to enable fine-grained color matching. Experiments on a self-collected benchmark demonstrate the superiority of our model over current solutions in terms of precise colorization. We further showcase the potential of the proposed interactive point control in handling challenging cases, cross-character colorization, multi-reference harmonization, beyond the reach of existing algorithms.