Towards Diverse and Faithful One-shot Adaption of Generative Adversarial Networks

要約

ワンショット生成ドメイン適応は、1つの参照画像のみを使用して、1つのドメインで事前にトレーニングされたジェネレータを新しいドメインに転送することを目的としています。
ただし、適応されたジェネレーターが（i）事前にトレーニングされたジェネレーターから継承された多様な画像を生成し、（ii）参照画像のドメイン固有の属性とスタイルを忠実に取得することは依然として非常に困難です。
この論文では、多様な世代と忠実な適応のための新しいワンショット生成ドメイン適応方法、すなわち、DiFaを提示します。
グローバルレベルの適応では、参照画像のCLIP埋め込みとソース画像の平均埋め込みの違いを利用して、ターゲットジェネレーターを制約します。
ローカルレベルの適応のために、適応された画像の各中間トークンを参照画像の対応するトークンと位置合わせする注意深いスタイル損失を導入します。
多様な生成を容易にするために、選択的なクロスドメイン整合性が導入され、編集中の潜在的な$ \ mathcal {W} + $スペースでドメイン共有属性を選択して保持し、事前にトレーニングされたジェネレーターの多様性を継承します。
広範な実験は、特に大きなドメインギャップの場合に、私たちの方法が定量的および定性的に最先端の方法よりも優れていることを示しています。
さらに、私たちのDiFaは、魅力的な結果をもたらすゼロショット生成ドメイン適応に簡単に拡張できます。
コードはhttps://github.com/1170300521/DiFaで入手できます。

要約(オリジナル)

One-shot generative domain adaption aims to transfer a pre-trained generator on one domain to a new domain using one reference image only. However, it remains very challenging for the adapted generator (i) to generate diverse images inherited from the pre-trained generator while (ii) faithfully acquiring the domain-specific attributes and styles of the reference image. In this paper, we present a novel one-shot generative domain adaption method, i.e., DiFa, for diverse generation and faithful adaptation. For global-level adaptation, we leverage the difference between the CLIP embedding of reference image and the mean embedding of source images to constrain the target generator. For local-level adaptation, we introduce an attentive style loss which aligns each intermediate token of adapted image with its corresponding token of the reference image. To facilitate diverse generation, selective cross-domain consistency is introduced to select and retain the domain-sharing attributes in the editing latent $\mathcal{W}+$ space to inherit the diversity of pre-trained generator. Extensive experiments show that our method outperforms the state-of-the-arts both quantitatively and qualitatively, especially for the cases of large domain gaps. Moreover, our DiFa can easily be extended to zero-shot generative domain adaption with appealing results. Code is available at https://github.com/1170300521/DiFa.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google