HyperDomainNet: Universal Domain Adaptation for Generative Adversarial Networks

要約

GANのドメイン適応フレームワークは、非常に限られたトレーニングデータの場合に現代のGANをトレーニングする主な成功したアプローチとして、近年大きな進歩を遂げました。
この作業では、ジェネレーターを微調整するための非常にコンパクトなパラメーター空間を提案することにより、このフレームワークを大幅に改善します。
ターゲット ドメインに適応するために、StyleGAN2 の 3,000 万の重みの代わりに 6,000 次元のベクトルのみを最適化できる、新しいドメイン変調技術を導入します。
このパラメーター化を最先端のドメイン適応方法に適用し、完全なパラメーター空間とほぼ同じ表現力があることを示します。
さらに、微調整されたジェネレーターの多様性を大幅に向上させる新しい正則化損失を提案します。
最適化パラメーター空間のサイズの縮小に触発されて、GAN のマルチドメイン適応の問題、つまり入力クエリに応じて同じモデルが複数のドメインに適応できる場合の設定を検討します。
ターゲット ドメインが与えられたときにパラメータ化を予測するハイパーネットワークである HyperDomainNet を提案します。
一度に多数のドメインを正常に学習でき、目に見えないドメインに一般化することさえできることを経験的に確認しています。
ソース コードは https://github.com/MACderRu/HyperDomainNet にあります。

要約(オリジナル)

Domain adaptation framework of GANs has achieved great progress in recent years as a main successful approach of training contemporary GANs in the case of very limited training data. In this work, we significantly improve this framework by proposing an extremely compact parameter space for fine-tuning the generator. We introduce a novel domain-modulation technique that allows to optimize only 6 thousand-dimensional vector instead of 30 million weights of StyleGAN2 to adapt to a target domain. We apply this parameterization to the state-of-art domain adaptation methods and show that it has almost the same expressiveness as the full parameter space. Additionally, we propose a new regularization loss that considerably enhances the diversity of the fine-tuned generator. Inspired by the reduction in the size of the optimizing parameter space we consider the problem of multi-domain adaptation of GANs, i.e. setting when the same model can adapt to several domains depending on the input query. We propose the HyperDomainNet that is a hypernetwork that predicts our parameterization given the target domain. We empirically confirm that it can successfully learn a number of domains at once and may even generalize to unseen domains. Source code can be found at https://github.com/MACderRu/HyperDomainNet

arxiv情報

提供元, 利用サービス

arxiv.jp, Google