CHATTY: Coupled Holistic Adversarial Transport Terms with Yield for Unsupervised Domain Adaptation

要約

タイトル：CHATTY：Unsupervised Domain AdaptationのCoupled Holistic Adversarial Transport Terms with Yield

要約：
– CHATTYは、Unsupervised Domain AdaptationのためのCoupled Holistic Adversarial Transport Terms with Yieldと呼ばれる新しいテクニックを提案している。
– Adversarialトレーニングは、ドメインディスクリミネーターからの勾配を逆にしてニューラルネットワークの特徴抽出器レイヤーをトレーニングすることによって、ドメイン不変な表現を学習するために一般的に使用されています。
– CHATTYでは、アドバーサルヘッド、そのトレーニング目標、および分類器ヘッドに重要な変更を提案しています。
– クラスの混乱を減らすことを目的として、学習可能な方法で、ソースドメインおよびターゲットドメインサンプルの分類器出力を移動させるサブネットワークを導入します。
– この移動を、クラスクラスターをお互いから引き離して分類器がソースドメインとターゲットドメインの両方の決定境界を見つけやすくする新しいトランスポート損失を使用して制御します。
– この新しい損失を、以前提案された損失の注意深い選択に追加することで、ベンチマークデータセットにおける以前の最先端方法と比較してUDA結果の改善がもたらされます。
– 摘出研究や表現空間におけるターゲットドメインサンプルの移動の可視化を使用して、提案された損失項目の重要性を示します。

要約(オリジナル)

We propose a new technique called CHATTY: Coupled Holistic Adversarial Transport Terms with Yield for Unsupervised Domain Adaptation. Adversarial training is commonly used for learning domain-invariant representations by reversing the gradients from a domain discriminator head to train the feature extractor layers of a neural network. We propose significant modifications to the adversarial head, its training objective, and the classifier head. With the aim of reducing class confusion, we introduce a sub-network which displaces the classifier outputs of the source and target domain samples in a learnable manner. We control this movement using a novel transport loss that spreads class clusters away from each other and makes it easier for the classifier to find the decision boundaries for both the source and target domains. The results of adding this new loss to a careful selection of previously proposed losses leads to improvement in UDA results compared to the previous state-of-the-art methods on benchmark datasets. We show the importance of the proposed loss term using ablation studies and visualization of the movement of target domain sample in representation space.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI