Generalized One-shot Domain Adaption of Generative Adversarial Networks

要約

Generative Adversarial Network (GAN)の適応は、事前に学習したGANを限られた学習データで与えられたドメインに移植することを目的としている。本論文では、より困難であり、これまでの研究でほとんど検討されていないワンショットのケースに焦点を当てる。我々は、ソースドメインからターゲットドメインへの適応は、テクスチャや色のようなグローバルスタイルの転送と、ソースドメインに属さない新しいエンティティの出現の2つの部分に切り離すことができると考えている。先行研究は主にスタイル転送に焦点を当てていますが、我々は、参照画像とその2値エンティティマスクが提供される、スタイルとエンティティ転送の両方に対する新規かつ簡潔なframeworkfootnote{url}{https://github.com/thevoidname/Generalized-One-shot-GAN-Adaption}を提案します。我々の中心的な目的は、参照と合成の内部分布の間のギャップを、スライスされたワッセルシュタイン距離によって拘束することである。これを達成するために、まずスタイル固定を行い、模範的なスタイルを大まかに取得する。そして、オリジナルの生成器に補助ネットワークを導入し、実体とスタイルの伝達を切り離す。さらに、領域間対応を実現するために、変分ラプラシアン正則化を提案し、適応された生成器の滑らかさを制約する。定量的、定性的な実験により、本手法が様々な場面で有効であることを示す。

要約(オリジナル)

The adaption of Generative Adversarial Network (GAN) aims to transfer a pre-trained GAN to a given domain with limited training data. In this paper, we focus on the one-shot case, which is more challenging and rarely explored in previous works. We consider that the adaptation from source domain to target domain can be decoupled into two parts: the transfer of global style like texture and color, and the emergence of new entities that do not belong to the source domain. While previous works mainly focus on the style transfer, we propose a novel and concise framework\footnote{\url{https://github.com/thevoidname/Generalized-One-shot-GAN-Adaption}} to address the \textit{generalized one-shot adaption} task for both style and entity transfer, in which a reference image and its binary entity mask are provided. Our core objective is to constrain the gap between the internal distributions of the reference and syntheses by sliced Wasserstein distance. To better achieve it, style fixation is used at first to roughly obtain the exemplary style, and an auxiliary network is introduced to the original generator to disentangle entity and style transfer. Besides, to realize cross-domain correspondence, we propose the variational Laplacian regularization to constrain the smoothness of the adapted generator. Both quantitative and qualitative experiments demonstrate the effectiveness of our method in various scenarios.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL