Learning Unbiased Transferability for Domain Adaptation by Uncertainty Modeling

要約

ドメイン適応 (DA) は、ラベル付けされたソース ドメインから学習した知識を、ラベル付けされていない、またはラベル付けが少ないが関連するターゲット ドメインに転送することを目的としています。
理想的には、偏りのない知識伝達を実現するために、ソース ディストリビューションとターゲット ディストリビューションを互いに均等に調整する必要があります。
ただし、ソース ドメインとターゲット ドメインの注釈付きデータの量が著しく不均衡であるため、通常はターゲット ディストリビューションのみがソース ドメインに合わせられ、不要なソース固有の知識をターゲット ドメインに適応させること、つまり偏ったドメイン適応につながります。
この問題を解決するために、この作業では、ドメイン適応における転送可能性推定の問題を掘り下げ、敵対的ベースの DA メソッドのディスクリミネーターの不確実性をモデル化して公平な
移行。
DA における偏りのない伝達可能性学習に対する提案されたアプローチの有効性を理論的に分析します。
さらに、不均衡な注釈付きデータの影響を軽減するために、推定された不確実性をターゲット ドメイン内のラベルのないサンプルの疑似ラベル選択に利用します。
多種多様な DA ベンチマーク データセットに関する広範な実験結果は、提案されたアプローチがさまざまな敵対的ベースの DA メソッドに容易に組み込まれ、最先端のパフォーマンスを達成できることを示しています。

要約(オリジナル)

Domain adaptation (DA) aims to transfer knowledge learned from a labeled source domain to an unlabeled or a less labeled but related target domain. Ideally, the source and target distributions should be aligned to each other equally to achieve unbiased knowledge transfer. However, due to the significant imbalance between the amount of annotated data in the source and target domains, usually only the target distribution is aligned to the source domain, leading to adapting unnecessary source specific knowledge to the target domain, i.e., biased domain adaptation. To resolve this problem, in this work, we delve into the transferability estimation problem in domain adaptation and propose a non-intrusive Unbiased Transferability Estimation Plug-in (UTEP) by modeling the uncertainty of a discriminator in adversarial-based DA methods to optimize unbiased transfer. We theoretically analyze the effectiveness of the proposed approach to unbiased transferability learning in DA. Furthermore, to alleviate the impact of imbalanced annotated data, we utilize the estimated uncertainty for pseudo label selection of unlabeled samples in the target domain, which helps achieve better marginal and conditional distribution alignments between domains. Extensive experimental results on a high variety of DA benchmark datasets show that the proposed approach can be readily incorporated into various adversarial-based DA methods, achieving state-of-the-art performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google