CDA: Contrastive-adversarial Domain Adaptation

要約

ドメイン適応の最近の進歩により、ディープ ニューラル ネットワークでの敵対的学習がドメイン不変の特徴を学習して、ソース ドメインとターゲット ドメインの間のシフトを減らすことができることが明らかになりました。
このような敵対的アプローチは、ドメイン レベルの調整を実現しますが、クラス (ラベル) シフトを無視します。
クラス条件付きデータの分布がソース ドメインとターゲット ドメインの間で大きく異なる場合、クラス境界の近くに曖昧な特徴が生成され、誤分類される可能性が高くなります。
この作業では、\textbf{C}ontrastive-adversarial \textbf{D}omain \textbf{A}daptation \textbf{(CDA)} と呼ばれるドメイン適応の 2 段階モデル​​を提案します。
敵対的コンポーネントはドメインレベルの調整を容易にしますが、2 段階の対照的学習はクラス情報を活用して、ドメイン全体でより高いクラス内コンパクト性を実現し、決定境界を十分に分離します。
さらに、提案された対照的なフレームワークは、ドメイン適応のための既存の敵対的方法に簡単に埋め込むことができるプラグアンドプレイモジュールとして設計されています。
ドメイン適応のために広く使用されている 2 つのベンチマーク データセット、つまり \textit{Office-31} と \textit{Digits-5} で実験を行い、CDA が両方のデータセットで最先端の結果を達成することを実証します。

要約(オリジナル)

Recent advances in domain adaptation reveal that adversarial learning on deep neural networks can learn domain invariant features to reduce the shift between source and target domains. While such adversarial approaches achieve domain-level alignment, they ignore the class (label) shift. When class-conditional data distributions are significantly different between the source and target domain, it can generate ambiguous features near class boundaries that are more likely to be misclassified. In this work, we propose a two-stage model for domain adaptation called \textbf{C}ontrastive-adversarial \textbf{D}omain \textbf{A}daptation \textbf{(CDA)}. While the adversarial component facilitates domain-level alignment, two-stage contrastive learning exploits class information to achieve higher intra-class compactness across domains resulting in well-separated decision boundaries. Furthermore, the proposed contrastive framework is designed as a plug-and-play module that can be easily embedded with existing adversarial methods for domain adaptation. We conduct experiments on two widely used benchmark datasets for domain adaptation, namely, \textit{Office-31} and \textit{Digits-5}, and demonstrate that CDA achieves state-of-the-art results on both datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google