DSI2I: Dense Style for Unpaired Image-to-Image Translation

要約

対応のない見本ベースの画像から画像 (UEI2I) への変換は、グラウンド トゥルースの入力変換ペアを使用せずに、ターゲット画像の見本のスタイルでソース画像をターゲット画像ドメインに変換することを目的としています。
既存の UEI2I メソッドは、グローバルな画像レベルの特徴ベクトル、またはオブジェクト インスタンス/クラスごとに 1 つのベクトルを使用してスタイルを表しますが、シーン セマンティクスの知識が必要です。
対照的に、ここでは、スタイルを密な特徴マップとして表現することを提案します。これにより、外部のセマンティック情報を必要とせずに、ソース画像へのよりきめ細かい転送が可能になります。
次に、知覚的および敵対的な損失に依存して、密集したスタイルとコンテンツ表現を解きほぐし、教師なしのクロスドメインセマンティック対応を利用して、模範的なスタイルをソースコンテンツにワープします。
クラスごとの方法でスタイルの類似性を測定する新しいローカライズされたスタイル メトリックと一緒に標準メトリックを使用して、2 つのデータセットに対するこの方法の有効性を示します。
私たちの結果は、私たちのアプローチによって生成された翻訳が、ソースコンテンツを保持しながら、最先端の方法よりも多様であり、模範に近いことを証明しています。

要約(オリジナル)

Unpaired exemplar-based image-to-image (UEI2I) translation aims to translate a source image to a target image domain with the style of a target image exemplar, without ground-truth input-translation pairs. Existing UEI2I methods represent style using either a global, image-level feature vector, or one vector per object instance/class but requiring knowledge of the scene semantics. Here, by contrast, we propose to represent style as a dense feature map, allowing for a finer-grained transfer to the source image without requiring any external semantic information. We then rely on perceptual and adversarial losses to disentangle our dense style and content representations, and exploit unsupervised cross-domain semantic correspondences to warp the exemplar style to the source content. We demonstrate the effectiveness of our method on two datasets using standard metrics together with a new localized style metric measuring style similarity in a class-wise manner. Our results evidence that the translations produced by our approach are more diverse and closer to the exemplars than those of the state-of-the-art methods while nonetheless preserving the source content.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google