All-to-key Attention for Arbitrary Style Transfer

要約

タイトル：Arbitrary Style Transferのためのすべてのキーアテンション

要約：
– Attention-based arbitrary style transferの研究は、鮮やかなローカルスタイルのディテールを合成することで有望なパフォーマンスを示しています。
– 通常、彼らはすべてのキリスト教徒の機能の各位置がスタイル特徴のすべての位置に完全に一致するすべて対すべての注目の仕組みを使用しています。
– しかし、全てに全ての注意を払うことは歪んだスタイルパターンを生成する傾向があり、二次関数的な複雑さにより、任意のスタイル転送の効果と効率が制限されます。
– 本稿では、スタイルトランスファーの特性により合った、提案されたすべてのキーアテンションメカニズムを提案しています。
– 具体的には、分散アテンションとプログレッシブアテンションの2つの新しく提案されたアテンション形式を統合しています。
– 分散アテンションは、地域のスタイル分布を描写する重要なスタイル表現に注意を払います。
– プログレッシブアテンションは、粗い領域から細かいキーポジションまで注目を払います。
– 結果的に、StyA2Kと呼ばれるモジュールは、意味構造を保持し、一貫したスタイルパターンをレンダリングする異常なパフォーマンスを示します。
– 優れたパフォーマンスを示す、最新の方法との質的・量的な比較が行われています。

要約(オリジナル)

Attention-based arbitrary style transfer studies have shown promising performance in synthesizing vivid local style details. They typically use the all-to-all attention mechanism — each position of content features is fully matched to all positions of style features. However, all-to-all attention tends to generate distorted style patterns and has quadratic complexity, limiting the effectiveness and efficiency of arbitrary style transfer. In this paper, we propose a novel all-to-key attention mechanism — each position of content features is matched to stable key positions of style features — that is more in line with the characteristics of style transfer. Specifically, it integrates two newly proposed attention forms: distributed and progressive attention. Distributed attention assigns attention to key style representations that depict the style distribution of local regions; Progressive attention pays attention from coarse-grained regions to fine-grained key positions. The resultant module, dubbed StyA2K, shows extraordinary performance in preserving the semantic structure and rendering consistent style patterns. Qualitative and quantitative comparisons with state-of-the-art methods demonstrate the superior performance of our approach.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI