Lightweight texture transfer based on texture feature preset

要約

テクスチャ転送のタスクでは、通常、参照テクスチャ イメージは非常に反復的なテクスチャ特徴を示し、同じスタイルに基づくさまざまなコンテンツ イメージからのテクスチャ転送結果も、非常に類似したテクスチャ パターンを共有します。
このような非常に類似したテクスチャ フィーチャのエンコードには、多くの場合、深いレイヤと多数のチャネルが必要となり、これがモデル全体のパラメータ数、計算負荷、および推論時間の主な原因にもなります。
テクスチャ特徴プリセット (TFP) に基づいた軽量テクスチャ転送を提案します。
TFP は、特定のスタイルにプリセットされたユニバーサル テクスチャ フィーチャ マップを提供することにより、テクスチャ フィーチャの高い反復性を最大限に活用します。
これらのプリセット機能マップは、任意のコンテンツの浅いカラー転送機能マップと直接融合およびデコードして、テクスチャ転送結果を生成することができるため、冗長なテクスチャ情報が繰り返しエンコードされるのを回避できます。
プリセットしたテクスチャ特徴マップは、一貫した分布 (標準正規分布) を持つノイズ入力画像を通じてエンコードされます。
この一貫した入力分布により、テクスチャ転送の微分の問題を完全に回避でき、異なるノイズ入力をランダムにサンプリングすることで、同じ参照スタイルの下で異なるテクスチャ特徴とテクスチャ転送結果を取得できます。
最先端の技術と比較して、当社の TFP は視覚的に優れた結果を生み出すだけでなく、モデル サイズを 3.2 ～ 3538 倍縮小し、プロセスを 1.8 ～ 5.6 倍高速化します。

要約(オリジナル)

In the task of texture transfer, reference texture images typically exhibit highly repetitive texture features, and the texture transfer results from different content images under the same style also share remarkably similar texture patterns. Encoding such highly similar texture features often requires deep layers and a large number of channels, making it is also the main source of the entire model’s parameter count and computational load, and inference time. We propose a lightweight texture transfer based on texture feature preset (TFP). TFP takes full advantage of the high repetitiveness of texture features by providing preset universal texture feature maps for a given style. These preset feature maps can be fused and decoded directly with shallow color transfer feature maps of any content to generate texture transfer results, thereby avoiding redundant texture information from being encoded repeatedly. The texture feature map we preset is encoded through noise input images with consistent distribution (standard normal distribution). This consistent input distribution can completely avoid the problem of texture transfer differentiation, and by randomly sampling different noise inputs, we can obtain different texture features and texture transfer results under the same reference style. Compared to state-of-the-art techniques, our TFP not only produces visually superior results but also reduces the model size by 3.2-3538 times and speeds up the process by 1.8-5.6 times.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google