MangaNinja: Line Art Colorization with Precise Reference Following

要約

拡散モデルから派生した MangaNinjia は、リファレンスに基づいた線画の色付けタスクに特化しています。
基準カラー画像とターゲット線画の間の対応学習を容易にするパッチシャッフルモジュールと、きめ細かいカラーマッチングを可能にするポイント駆動制御スキームを含む、正確な文字詳細の転写を確実にするための2つの思慮深い設計が組み込まれています。
自己収集したベンチマークでの実験により、正確な色付けの点で現在のソリューションよりも当社のモデルが優れていることが実証されました。
さらに、既存のアルゴリズムの範囲を超えた、困難なケース、文字間の色付け、複数参照の調和を処理する際の、提案された対話型ポイント制御の可能性を示します。

要約(オリジナル)

Derived from diffusion models, MangaNinjia specializes in the task of reference-guided line art colorization. We incorporate two thoughtful designs to ensure precise character detail transcription, including a patch shuffling module to facilitate correspondence learning between the reference color image and the target line art, and a point-driven control scheme to enable fine-grained color matching. Experiments on a self-collected benchmark demonstrate the superiority of our model over current solutions in terms of precise colorization. We further showcase the potential of the proposed interactive point control in handling challenging cases, cross-character colorization, multi-reference harmonization, beyond the reach of existing algorithms.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google