Attention-Aware Anime Line Drawing Colorization

要約

アニメの線画の自動彩色は、アニメ業界に大きなメリットをもたらすことから、近年大きな注目を集めています。
ユーザーヒントベースの方法は、線画の色付けの主流のアプローチであり、参照ベースの方法はより直感的なアプローチを提供します。
それにもかかわらず、参照ベースの方法は参照画像と線画の特徴集約を改善できますが、カラー化の結果は、色の一貫性または意味的な対応の点で魅力的ではありません。
このホワイト ペーパーでは、アニメの線画の色付けのためのアテンション ベースのモデルを紹介します。このモデルでは、チャネル単位および空間単位の畳み込みアテンション モジュールを使用して、特徴抽出と主要領域の認識に関するエンコーダの能力を向上させます。
– Cross-Attention と Self-Attention を備えた Gradient Attention モジュールを使用して、クロスドメインの長期的な依存関係の問題に取り組みます。
広範な実験により、より正確な線構造とセマンティックカラー情報により、この方法が他の SOTA 方法よりも優れていることが示されています。

要約(オリジナル)

Automatic colorization of anime line drawing has attracted much attention in recent years since it can substantially benefit the animation industry. User-hint based methods are the mainstream approach for line drawing colorization, while reference-based methods offer a more intuitive approach. Nevertheless, although reference-based methods can improve feature aggregation of the reference image and the line drawing, the colorization results are not compelling in terms of color consistency or semantic correspondence. In this paper, we introduce an attention-based model for anime line drawing colorization, in which a channel-wise and spatial-wise Convolutional Attention module is used to improve the ability of the encoder for feature extraction and key area perception, and a Stop-Gradient Attention module with cross-attention and self-attention is used to tackle the cross-domain long-range dependency problem. Extensive experiments show that our method outperforms other SOTA methods, with more accurate line structure and semantic color information.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google