Domain Re-Modulation for Few-Shot Generative Domain Adaptation

要約

この研究では、少数の参照画像のみを使用して、事前トレーニングされたジェネレーターを 1 つのドメインから新しいドメインに転送する、少数ショットの生成ドメイン適応 (GDA) のタスクを詳しく調べます。
人間の脳が新しいドメインの知識を獲得する方法にヒントを得て、ドメイン再変調 (DoRM) と呼ばれる革新的なジェネレーター構造を紹介します。
DoRM は、GDA での以前の研究によって達成された、高品質、大規模な合成多様性、およびクロスドメインの一貫性という基準を満たしているだけでなく、人間の脳の動作に似た記憶とドメインの関連付けも組み込んでいます。
具体的には、DoRM はソース ジェネレーターをフリーズし、GDA 中にターゲット ドメインの属性を取得するために新しいマッピング モジュールとアフィン モジュール (M&A モジュール) を導入します。
このプロセスは、人間の脳における新しいシナプスの形成に似ています。
その結果、スタイル空間内で線形結合可能なドメインのシフトが発生します。
複数の新しい M&A モジュールを組み込むことにより、ジェネレータは高忠実度のマルチドメインおよびハイブリッド ドメインの生成を実行できる機能を獲得します。
さらに、クロスドメインの一貫性をより効果的に維持するために、類似性に基づく構造損失を導入します。
この損失により、トレーニング中にターゲット画像の自己相関マップがソース画像の対応する自己相関マップと一致します。
広範な実験を通じて、DoRM と数ショット GDA における類似性に基づく構造損失の優れたパフォーマンスを量的および定性的に実証しました。
コードは https://github.com/wuyi2020/DoRM で入手できます。

要約(オリジナル)

In this study, we delve into the task of few-shot Generative Domain Adaptation (GDA), which involves transferring a pre-trained generator from one domain to a new domain using only a few reference images. Inspired by the way human brains acquire knowledge in new domains, we present an innovative generator structure called Domain Re-Modulation (DoRM). DoRM not only meets the criteria of high quality, large synthesis diversity, and cross-domain consistency, which were achieved by previous research in GDA, but also incorporates memory and domain association, akin to how human brains operate. Specifically, DoRM freezes the source generator and introduces new mapping and affine modules (M&A modules) to capture the attributes of the target domain during GDA. This process resembles the formation of new synapses in human brains. Consequently, a linearly combinable domain shift occurs in the style space. By incorporating multiple new M&A modules, the generator gains the capability to perform high-fidelity multi-domain and hybrid-domain generation. Moreover, to maintain cross-domain consistency more effectively, we introduce a similarity-based structure loss. This loss aligns the auto-correlation map of the target image with its corresponding auto-correlation map of the source image during training. Through extensive experiments, we demonstrate the superior performance of our DoRM and similarity-based structure loss in few-shot GDA, both quantitatively and qualitatively. The code will be available at https://github.com/wuyi2020/DoRM.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google