Attention-Aware Anime Line Drawing Colorization

要約

近年、アニメの線画の自動着色は、アニメ産業に多大な利益をもたらすことから注目されている。線画の色付けは、ユーザーヒントに基づく手法が主流であり、参照に基づく手法はより直感的なアプローチが可能である。しかしながら、参照ベース手法は、参照画像と線画の特徴量の集約を改善できるものの、色彩の一貫性や意味的な対応性の面で、色付け結果に説得力がない。本論文では、アニメ線画の色付けに対する注意に基づくモデルを紹介する。このモデルでは、特徴抽出とキーエリア知覚に対するエンコーダの能力を向上させるために、チャンネル単位と空間単位の畳み込み注意モジュールが用いられ、クロスドメイン長距離依存問題に取り組むために、交差注意と自己注意を持つ停止-勾配注意モジュールが用いられる。広範な実験により、本手法は他のSOTA手法を凌駕し、より正確な線構造と意味的な色情報を持つことが示された。

要約(オリジナル)

Automatic colorization of anime line drawing has attracted much attention in recent years since it can substantially benefit the animation industry. User-hint based methods are the mainstream approach for line drawing colorization, while reference-based methods offer a more intuitive approach. Nevertheless, although reference-based methods can improve feature aggregation of the reference image and the line drawing, the colorization results are not compelling in terms of color consistency or semantic correspondence. In this paper, we introduce an attention-based model for anime line drawing colorization, in which a channel-wise and spatial-wise Convolutional Attention module is used to improve the ability of the encoder for feature extraction and key area perception, and a Stop-Gradient Attention module with cross-attention and self-attention is used to tackle the cross-domain long-range dependency problem. Extensive experiments show that our method outperforms other SOTA methods, with more accurate line structure and semantic color information.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL