Dual Pipeline Style Transfer with Input Distribution Differentiation

要約

カラーとテクスチャのデュアル パイプライン アーキテクチャ (CTDP) は、マスクされた全変動損失 (Mtv) を通じてテクスチャ表現とアーティファクトを抑制します。さらなる実験では、スムーズな入力によりテクスチャ表現をほぼ完全に排除できることが示されました。
私たちは実験を通じて、スムーズな入力がテクスチャ表現を削除する主な理由ではなく、むしろトレーニング データセットの分布の差別化であることを実証しました。
これに基づいて、テクスチャの生成をノイズ分布に完全に依存させる一方で、滑らかな分布ではテクスチャがまったく生成されない入力分布微分トレーニング戦略 (IDD) を提案します。
全体として、私たちが提案する分布微分トレーニング戦略では、2 つの事前定義された入力分布が 2 つの生成タスクを担うことができ、ノイズ分布はテクスチャ生成を担当し、スムーズ分布はカラーのスムーズな転送を担当します。
最後に、色転送タスクにおけるテクスチャ表現とアーティファクトを完全に除去するために、前方推論ステージの入力として滑らかな分布を選択します。

要約(オリジナル)

The color and texture dual pipeline architecture (CTDP) suppresses texture representation and artifacts through masked total variation loss (Mtv), and further experiments have shown that smooth input can almost completely eliminate texture representation. We have demonstrated through experiments that smooth input is not the key reason for removing texture representations, but rather the distribution differentiation of the training dataset. Based on this, we propose an input distribution differentiation training strategy (IDD), which forces the generation of textures to be completely dependent on the noise distribution, while the smooth distribution will not produce textures at all. Overall, our proposed distribution differentiation training strategy allows for two pre-defined input distributions to be responsible for two generation tasks, with noise distribution responsible for texture generation and smooth distribution responsible for color smooth transfer. Finally, we choose a smooth distribution as the input for the forward inference stage to completely eliminate texture representations and artifacts in color transfer tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google