Image-Based CLIP-Guided Essence Transfer

要約

(i) ソース画像を操作してターゲット画像のテクスチャと色を一致させるスタイル転送と、(ii) ソース画像を編集して高レベルのセマンティック属性を含めるエッセンス転送を区別します。
ターゲットから。
重要なことに、画像の本質を構成するセマンティック属性は、画像ごとに異なる場合があります。
当社のブレンディング オペレーターは、強力な StyleGAN ジェネレーターと CLIP のセマンティック エンコーダーを、両方の潜在空間で同時に加法的な新しい方法で組み合わせ、顔認識ネットワークに依存することなく、ID の保存と高レベルの機能転送の両方を保証するメカニズムを実現します。
メソッドの 2 つのバリエーションを紹介します。
1 つ目は最適化に基づいており、2 つ目は既存の反転エンコーダーを微調整してエッセンス抽出を実行します。
広範な実験を通じて、スタイル転送、ドメイン適応、およびテキストベースのセマンティック編集の既存の方法よりも、エッセンス転送の方法の優位性を示しています。
コードは https://github.com/hila-chefer/TargetCLIP で入手できます。

要約(オリジナル)

We make the distinction between (i) style transfer, in which a source image is manipulated to match the textures and colors of a target image, and (ii) essence transfer, in which one edits the source image to include high-level semantic attributes from the target. Crucially, the semantic attributes that constitute the essence of an image may differ from image to image. Our blending operator combines the powerful StyleGAN generator and the semantic encoder of CLIP in a novel way that is simultaneously additive in both latent spaces, resulting in a mechanism that guarantees both identity preservation and high-level feature transfer without relying on a facial recognition network. We present two variants of our method. The first is based on optimization, while the second fine-tunes an existing inversion encoder to perform essence extraction. Through extensive experiments, we demonstrate the superiority of our methods for essence transfer over existing methods for style transfer, domain adaptation, and text-based semantic editing. Our code is available at https://github.com/hila-chefer/TargetCLIP.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google