Smoothness Similarity Regularization for Few-Shot GAN Adaptation

要約

少数ショット GAN 適応のタスクは、事前トレーニングされた GAN モデルを、トレーニング画像が非常に少ない小さなデータセットに適応させることを目的としています。
既存の手法は、事前トレーニング用のデータセットがターゲット データセットと構造的に類似している場合には良好に機能しますが、2 つのドメイン内のオブジェクトの構造が大きく異なる場合、このアプローチではトレーニングの不安定性や記憶の問題が発生します。
この制限を軽減するために、たとえ 2 つのドメインが大きく異なっていたとしても、事前トレーニングされた GAN の本質的に学習された滑らかさを少数ショットのターゲット ドメインに転送する、新しい滑らかさの類似性正則化を提案します。
無条件およびクラス条件付き GAN を多様な少数ショットのターゲット ドメインに適応させることで、アプローチを評価します。
私たちが提案した方法は、ソースとターゲットのドメインが構造的に異なるという困難なケースにおいて、従来の少数ショット GAN 適応方法よりも大幅に優れた性能を発揮しますが、同様のソースとターゲットのドメインでは最先端の性能と同等の性能を発揮します。

要約(オリジナル)

The task of few-shot GAN adaptation aims to adapt a pre-trained GAN model to a small dataset with very few training images. While existing methods perform well when the dataset for pre-training is structurally similar to the target dataset, the approaches suffer from training instabilities or memorization issues when the objects in the two domains have a very different structure. To mitigate this limitation, we propose a new smoothness similarity regularization that transfers the inherently learned smoothness of the pre-trained GAN to the few-shot target domain even if the two domains are very different. We evaluate our approach by adapting an unconditional and a class-conditional GAN to diverse few-shot target domains. Our proposed method significantly outperforms prior few-shot GAN adaptation methods in the challenging case of structurally dissimilar source-target domains, while performing on par with the state of the art for similar source-target domains.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google