Contrastive Adversarial Training for Unsupervised Domain Adaptation

要約

ドメイン敵対的トレーニングは、ドメイン不変の特徴表現を見つけるための効果的な機能を示しており、さまざまなドメイン適応タスクにうまく採用されています。
しかし、最近の大規模モデル (ビジョン トランスフォーマーなど) の進歩と複雑な適応シナリオ (DomainNet など) の出現により、敵対的トレーニングはソース ドメインに偏りやすくなり、ターゲット ドメインにはほとんど適応されなくなりました。
理由は 2 つあります。大規模なモデルのトレーニングにはソース ドメインからの大量のラベル付きデータに依存しており、微調整にはターゲット ドメインからのラベル付きデータが不足しています。
既存のアプローチは、ディスクリミネーターの強化またはバックボーン ネットワークのトレーニングの安定性の向上に広く焦点を当てていました。
敵対的トレーニング中に特徴抽出器と識別器の間で不均衡な競合が発生するため、既存のソリューションは複雑なデータセットではうまく機能しません。
この問題に対処するために、ラベル付けされたソース ドメイン サンプルを活用してターゲット ドメインの特徴生成を強化および調整する、新しい対比敵対的トレーニング (CAT) アプローチを提案しました。
通常、この規制により、ターゲットの特徴分布がソースの特徴分布と類似することが強制されます。
CAT は、敵対的学習における 3 つの主要な課題に対処しました。1) 2 つのドメインからの特徴分布が識別子にとって可能な限り区別できないようにすることで、より堅牢なドメイン不変の特徴生成が実現します。
2) ターゲット サンプルが特徴空間内のソースに近づくことを奨励し、ラベル付きソース ドメインでトレーニングされた分類器をラベルなしターゲット ドメインに一般化する要件を軽減します。
3) ミニバッチ内でペアになっていないソース サンプルとターゲット サンプルを直接整列させることは避けます。
CAT は既存のモデルに簡単に接続でき、パフォーマンスが大幅に向上します。

要約(オリジナル)

Domain adversarial training has shown its effective capability for finding domain invariant feature representations and been successfully adopted for various domain adaptation tasks. However, recent advances of large models (e.g., vision transformers) and emerging of complex adaptation scenarios (e.g., DomainNet) make adversarial training being easily biased towards source domain and hardly adapted to target domain. The reason is twofold: relying on large amount of labelled data from source domain for large model training and lacking of labelled data from target domain for fine-tuning. Existing approaches widely focused on either enhancing discriminator or improving the training stability for the backbone networks. Due to unbalanced competition between the feature extractor and the discriminator during the adversarial training, existing solutions fail to function well on complex datasets. To address this issue, we proposed a novel contrastive adversarial training (CAT) approach that leverages the labeled source domain samples to reinforce and regulate the feature generation for target domain. Typically, the regulation forces the target feature distribution being similar to the source feature distribution. CAT addressed three major challenges in adversarial learning: 1) ensure the feature distributions from two domains as indistinguishable as possible for the discriminator, resulting in a more robust domain-invariant feature generation; 2) encourage target samples moving closer to the source in the feature space, reducing the requirement for generalizing classifier trained on the labeled source domain to unlabeled target domain; 3) avoid directly aligning unpaired source and target samples within mini-batch. CAT can be easily plugged into existing models and exhibits significant performance improvements.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google