Degree-Controllable Lightweight Fast Style Transfer with Detail Attention-enhanced

要約

スタイル転送方法では通常、より良い効果を実現するために、事前トレーニングされた VGG またはより複雑なモデルをエンコーダーとして使用します。
これにより、高解像度画像の処理が非常に遅くなります。
この問題を解決するために、我々は、効率的な前方推論のために小さく、浅く、コンパクトなアーキテクチャを採用する、程度制御可能な詳細注意強化軽量高速スタイル転送 (DcDaeLFST) を提案します。
さらに、コンテンツ画像の意味論的および構造情報を保存するためにグローバル意味論的不変性損失を利用し、スタイル弁別子とともにコンテンツ画像の詳細情報を保存するためにローカルディテール注意強化モジュールを利用します。
パラメーターは限られていますが、全体的に優れたスタイル マッチング パフォーマンスを実現できます。
最も重要なことは、これは主観的な評価に基づいてディテールの保持とスタイルの転送の程度を制御できる最初の方法であるということです。
比較実験では、当社のモデルは他の最先端モデルに比べて 17 ～ 250 倍小さく、0.26 ～ 6.5 倍高速であり、4K 高解像度画像での最速処理速度は 0.38 秒です。

要約(オリジナル)

Style transfer methods usually use pre-trained VGG or more complex models as encoders to achieve better effects. This leads to extremely slow processing of high-resolution images. To solve the problem, we propose an degree-controllable detail attention-enhanced lightweight fast style transfer (DcDaeLFST), which adopts a small, shallow, and compact architecture for efficient forward inference. Additionally, our exploit a global semantic invariance loss to preserve the semantic and structural information of content images, and a local detail attention-enhanced module to preserve the detail information of them, together with a style discriminator. Despite limited parameters, it can achieve overall better style matching performance. Most importantly, it is the first method that can control the degree of detail retention and style transfer based on subjective evaluation. In comparative experiments, our model is 17-250 times smaller and 0.26-6.5 times faster than other state-of-the-art models, with the fastest processing speed of 0.38s on 4K high-resolution images.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google