Edge Enhanced Image Style Transfer via Transformers

要約

近年、任意の画像スタイルの転送がますます注目を集めています。
コンテンツ イメージとスタイル イメージのペアが与えられた場合、前者のコンテンツを保持し、後者のスタイル パターンをキャッチする様式化されたイメージが望まれます。
しかし、コンテンツの詳細とスタイルの特徴との間のトレードオフを同時にうまく保つことは困難です。
十分なスタイル パターンを使用して画像をスタイライズすると、コンテンツの詳細が損なわれ、画像のオブジェクトを明確に区別できない場合があります。
このため、画像スタイル転送用の STT という名前の新しいトランスフォーマーベースの方法と、スタイル機能の過度のレンダリングによるぼやけた結果の生成を回避するためにコンテンツの詳細を明らかに強化できるエッジ損失を提示します。
定性的および定量的な実験により、STT が最新の画像スタイル転送方法に匹敵するパフォーマンスを達成し、コンテンツ リークの問題を軽減することが実証されています。

要約(オリジナル)

In recent years, arbitrary image style transfer has attracted more and more attention. Given a pair of content and style images, a stylized one is hoped that retains the content from the former while catching style patterns from the latter. However, it is difficult to simultaneously keep well the trade-off between the content details and the style features. To stylize the image with sufficient style patterns, the content details may be damaged and sometimes the objects of images can not be distinguished clearly. For this reason, we present a new transformer-based method named STT for image style transfer and an edge loss which can enhance the content details apparently to avoid generating blurred results for excessive rendering on style features. Qualitative and quantitative experiments demonstrate that STT achieves comparable performance to state-of-the-art image style transfer methods while alleviating the content leak problem.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google