E-ADDA: Unsupervised Adversarial Domain Adaptation Enhanced by a New Mahalanobis Distance Loss for Smart Computing

要約

タイトル：スマートコンピューティングの為の新しいMahalanobis距離損失強化による教師なし対抗的ドメインアダプテーションのE-ADDA

要約：

– スマートコンピューティングでは、識別のためのトレーニングサンプルのラベルが必ずしも豊富ではないが、関連する違うデータセットのサンプルにはラベルがあることが多い。
– そのため、教師なしドメインアダプテーションを用いて、ラベルがないデータセット（ターゲットドメイン）でより良い分類を行うために、他のデータセット（ソースドメイン）のラベルを利用することがよくある。
– UDAの既存の対抗的な非生成ソリューションは、対抗的トレーニングを通じてドメインの混同を達成することを目指しているが、完璧なドメインの混同は保証されていない。
– 新しいMahalanobis距離損失の一種と外れ値検出のサブルーチンを使用する新しい教師なしドメインアダプテーションアルゴリズム（E-ADDA）を提案する。
– Mahalanobis距離損失は、符号化されたターゲットサンプルとソースドメインの分布との分布全体の距離を最小化し、対抗的トレーニングの上に追加のドメイン混同を強制する。
– その後、OODサブルーチンにより、ドメイン混同に失敗したサンプルがさらに削除される。
– E-ADDAは音響とコンピュータビジョンモダリティで広範で包括的な評価を行い、音響モダリティでは、f1スコアで最新のUDAアルゴリズムのいくつかを最大29.8％上回り、コンピュータビジョンモダリティでは、Office-31やOffice-Homeなどの最新のUDAベンチマークで、2番目にパフォーマンスが良いアルゴリズムを最大17.9％上回っている。

要約(オリジナル)

In smart computing, the labels of training samples for a specific task are not always abundant. However, the labels of samples in a relevant but different dataset are available. As a result, researchers have relied on unsupervised domain adaptation to leverage the labels in a dataset (the source domain) to perform better classification in a different, unlabeled dataset (target domain). Existing non-generative adversarial solutions for UDA aim at achieving domain confusion through adversarial training. The ideal scenario is that perfect domain confusion is achieved, but this is not guaranteed to be true. To further enforce domain confusion on top of the adversarial training, we propose a novel UDA algorithm, \textit{E-ADDA}, which uses both a novel variation of the Mahalanobis distance loss and an out-of-distribution detection subroutine. The Mahalanobis distance loss minimizes the distribution-wise distance between the encoded target samples and the distribution of the source domain, thus enforcing additional domain confusion on top of adversarial training. Then, the OOD subroutine further eliminates samples on which the domain confusion is unsuccessful. We have performed extensive and comprehensive evaluations of E-ADDA in the acoustic and computer vision modalities. In the acoustic modality, E-ADDA outperforms several state-of-the-art UDA algorithms by up to 29.8%, measured in the f1 score. In the computer vision modality, the evaluation results suggest that we achieve new state-of-the-art performance on popular UDA benchmarks such as Office-31 and Office-Home, outperforming the second best-performing algorithms by up to 17.9%.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI