AesPA-Net: Aesthetic Pattern-Aware Style Transfer Networks

要約

ターゲット スタイルの芸術的表現を実現するために、最近の研究では、スタイル イメージのローカル パッチをコンテンツ イメージの対応するパッチにマッピングする機能によるアテンション メカニズムを利用しています。
ただし、任意のコンテンツとアートワークの間の意味的な対応関係が低いため、アテンション モジュールはスタイル イメージの特定のローカル パッチを繰り返し悪用し、その結果、不調和で明らかな反復的なアーティファクトが生じます。
この制限を克服し、完璧な芸術的スタイルの伝達を達成するために、私たちは注意のメカニズムを強化し、スタイルを組織するパターンのリズムを捉えることに焦点を当てています。
この論文では、スタイル イメージ内のパターンの繰り返しを定量化する新しい指標、つまりパターン繰り返し性を導入します。
パターンの再現性に基づいて、ローカルおよびグローバルなスタイル表現のスイートスポットを発見する、Aesthetic Pattern-Aware style transfer Networks (AesPA-Net) を提案します。
さらに、注意メカニズムが正確で意味のある意味の対応を学習することを促進する、新しい自己監視タスクを提案します。
最後に、ローカル パターンの精緻なリズムを転写するためにパッチ単位のスタイル ロスを導入します。
定性的・定量的な評価により、人間の知覚に即したパターン再現性の信頼性を検証し、提案フレームワークの優位性を実証します。

要約(オリジナル)

To deliver the artistic expression of the target style, recent studies exploit the attention mechanism owing to its ability to map the local patches of the style image to the corresponding patches of the content image. However, because of the low semantic correspondence between arbitrary content and artworks, the attention module repeatedly abuses specific local patches from the style image, resulting in disharmonious and evident repetitive artifacts. To overcome this limitation and accomplish impeccable artistic style transfer, we focus on enhancing the attention mechanism and capturing the rhythm of patterns that organize the style. In this paper, we introduce a novel metric, namely pattern repeatability, that quantifies the repetition of patterns in the style image. Based on the pattern repeatability, we propose Aesthetic Pattern-Aware style transfer Networks (AesPA-Net) that discover the sweet spot of local and global style expressions. In addition, we propose a novel self-supervisory task to encourage the attention mechanism to learn precise and meaningful semantic correspondence. Lastly, we introduce the patch-wise style loss to transfer the elaborate rhythm of local patterns. Through qualitative and quantitative evaluations, we verify the reliability of the proposed pattern repeatability that aligns with human perception, and demonstrate the superiority of the proposed framework.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google