Few-shot Hybrid Domain Adaptation of Image Generators

要約

事前トレーニングされたジェネレーターを複数のターゲット ドメインのハイブリッドに適応させ、それらの統合された属性を持つ画像を生成できますか?
この作業では、新しいタスクであるフューショット ハイブリッド ドメイン アダプテーション (HDA) を導入します。
ソース ジェネレーターといくつかのターゲット ドメインが与えられた場合、HDA は、ソース ドメインの特性をオーバーライドすることなく、すべてのターゲット ドメインの統合属性を保持する、適応されたジェネレーターを取得することを目指します。
ドメイン アダプテーション (DA) と比較して、HDA はより優れた柔軟性と多用途性を提供し、ジェネレーターをより複合的で拡張的なドメインに適応させます。
同時に、HDA は、個々のターゲット ドメインの画像にのみアクセスでき、ハイブリッド ドメインからの本物の画像が不足しているため、DA よりも多くの課題を抱えています。
この問題に対処するために、さまざまなドメインの画像を十分に分離可能な部分空間に直接エンコードする、弁別器のないフレームワークを導入します。
HDA を達成するために、距離損失と方向損失から構成される新しい方向性部分空間損失を提案します。
具体的には、距離損失は、生成された画像からすべてのターゲット部分空間までの距離を短縮することによって、すべてのターゲット ドメインの属性をブレンドします。
方向損失は、部分空間に対する垂直方向に沿って適応を誘導することにより、ソース ドメインからの特性を保存します。
実験では、私たちの方法が単一の適応ジェネレーターで多数のドメイン固有の属性を取得できることを示しており、これは意味論的な類似性、画像の忠実性、およびクロスドメインの一貫性においてベースラインの方法を上回っています。

要約(オリジナル)

Can a pre-trained generator be adapted to the hybrid of multiple target domains and generate images with integrated attributes of them? In this work, we introduce a new task — Few-shot Hybrid Domain Adaptation (HDA). Given a source generator and several target domains, HDA aims to acquire an adapted generator that preserves the integrated attributes of all target domains, without overriding the source domain’s characteristics. Compared with Domain Adaptation (DA), HDA offers greater flexibility and versatility to adapt generators to more composite and expansive domains. Simultaneously, HDA also presents more challenges than DA as we have access only to images from individual target domains and lack authentic images from the hybrid domain. To address this issue, we introduce a discriminator-free framework that directly encodes different domains’ images into well-separable subspaces. To achieve HDA, we propose a novel directional subspace loss comprised of a distance loss and a direction loss. Concretely, the distance loss blends the attributes of all target domains by reducing the distances from generated images to all target subspaces. The direction loss preserves the characteristics from the source domain by guiding the adaptation along the perpendicular to subspaces. Experiments show that our method can obtain numerous domain-specific attributes in a single adapted generator, which surpasses the baseline methods in semantic similarity, image fidelity, and cross-domain consistency.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google