Learning to Incorporate Texture Saliency Adaptive Attention to Image Cartoonization

要約

画像の漫画化は、教師なしの画像から画像への変換の観点から、敵対的生成ネットワーク (GAN) によって最近支配されています。その固有の課題は、特徴的な漫画のスタイル (明確なエッジ、滑らかな色の陰影、抽象など) を正確にキャプチャして十分に転送することです。
微細構造など）。
既存の高度なモデルは、敵対的にエッジを促進することを学習したり、スタイル転送損失を導入したり、複数の表現空間からスタイルを調整することを学習したりすることで、漫画化効果を高めようとします。
この論文は、基本的な敵対的損失だけで、より明確で鮮やかな漫画化効果を簡単に達成できることを示しています。
漫画のスタイルが漫画のテクスチャが目立つローカル画像領域でより明白であることを観察し、通常の画像レベルのものと並行して領域レベルの敵対的学習ブランチを構築します。
漫画のテクスチャ機能を認識して転送します。
この目的のために、新しい漫画テクスチャ顕著性サンプラー (CTSS) モジュールが提案され、トレーニング データから漫画テクスチャ顕著性パッチを動的にサンプリングします。
広範な実験により、敵対的学習におけるテクスチャ顕著性適応的注意は、画像の漫画化に関連する方法の欠落している要素として、特に高解像度の入力画像の場合、画像の漫画の様式化を促進および強化する上で非常に重要であることを示しています。

要約(オリジナル)

Image cartoonization is recently dominated by generative adversarial networks (GANs) from the perspective of unsupervised image-to-image translation, in which an inherent challenge is to precisely capture and sufficiently transfer characteristic cartoon styles (e.g., clear edges, smooth color shading, abstract fine structures, etc.). Existing advanced models try to enhance cartoonization effect by learning to promote edges adversarially, introducing style transfer loss, or learning to align style from multiple representation space. This paper demonstrates that more distinct and vivid cartoonization effect could be easily achieved with only basic adversarial loss. Observing that cartoon style is more evident in cartoon-texture-salient local image regions, we build a region-level adversarial learning branch in parallel with the normal image-level one, which constrains adversarial learning on cartoon-texture-salient local patches for better perceiving and transferring cartoon texture features. To this end, a novel cartoon-texture-saliency-sampler (CTSS) module is proposed to dynamically sample cartoon-texture-salient patches from training data. With extensive experiments, we demonstrate that texture saliency adaptive attention in adversarial learning, as a missing ingredient of related methods in image cartoonization, is of significant importance in facilitating and enhancing image cartoon stylization, especially for high-resolution input pictures.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google