DSI2I: Dense Style for Unpaired Image-to-Image Translation

要約

Unpaired Example-based image-to-image (UEI2I) 変換は、グラウンド トゥルースの入力と変換のペアを使用せずに、ソース イメージをターゲット イメージ エグザンプラのスタイルでターゲット イメージ ドメインに変換することを目的としています。
既存の UEI2I メソッドは、画像ごとに 1 つのベクトルを使用してスタイルを表すか、セマンティック監視に依存してオブジェクトごとに 1 つのスタイル ベクトルを定義します。
ここでは、対照的に、スタイルを高密度の特徴マップとして表現し、外部のセマンティック情報を必要とせずにソース画像へのよりきめの細かい転送を可能にすることを提案します。
次に、知覚的損失と敵対的損失を利用して、密度の高いスタイルとコンテンツ表現を解きほぐします。
ソース コンテンツを見本スタイルでスタイル設定するには、教師なしのクロスドメインの意味論的対応を抽出し、見本スタイルをソース コンテンツにワープします。
標準メトリクスと、クラスごとにスタイルの類似性を測定する、私たちが提案するローカライズされたスタイル メトリクスを使用して、4 つのデータセットでこの方法の有効性を実証します。
私たちの結果は、最先端の方法と比較して、私たちのアプローチによって生成された翻訳がより多様で、ソースコンテンツをよりよく保存し、見本に近いことを示しています。
プロジェクトページ：https://github.com/IVRL/dsi2i

要約(オリジナル)

Unpaired exemplar-based image-to-image (UEI2I) translation aims to translate a source image to a target image domain with the style of a target image exemplar, without ground-truth input-translation pairs. Existing UEI2I methods represent style using one vector per image or rely on semantic supervision to define one style vector per object. Here, in contrast, we propose to represent style as a dense feature map, allowing for a finer-grained transfer to the source image without requiring any external semantic information. We then rely on perceptual and adversarial losses to disentangle our dense style and content representations. To stylize the source content with the exemplar style, we extract unsupervised cross-domain semantic correspondences and warp the exemplar style to the source content. We demonstrate the effectiveness of our method on four datasets using standard metrics together with a localized style metric we propose, which measures style similarity in a class-wise manner. Our results show that the translations produced by our approach are more diverse, preserve the source content better, and are closer to the exemplars when compared to the state-of-the-art methods. Project page: https://github.com/IVRL/dsi2i

arxiv情報

提供元, 利用サービス

arxiv.jp, Google