Provably Uncertainty-Guided Universal Domain Adaptation

要約

ユニバーサル ドメイン アダプテーション (UniDA) は、共通クラスの知識をソース ドメインからターゲット ドメインに転送することを目的としています。これには、ラベル セットに関する事前の知識がなくても、未知のサンプルとターゲット ドメインの既知のサンプルを区別する必要があります。
従来の教師なしドメイン適応問題と同様に、ターゲット ドメインへの埋め込みが偏っていて差別的でないため、2 つのドメイン間に不整合が存在します。
最近の方法は、ターゲット サンプルを最近傍または最も近いプロトタイプでクラスタリングすることにより、ドメインの不整合を完了するために提案されました。
ただし、既知のサンプルと未知のサンプルの両方がソース クラスターの端に分布する可能性があるため、これは危険です。
一方、他の既存の分類子ベースの方法では、ソース ドメインの監視対象の目的がモデル全体を共通のクラスに偏らせるため、未知のサンプルに対して自信過剰な予測を簡単に作成できます。
したがって、最初の問題に対処するために、ターゲットサンプルの分布を利用し、ターゲットサンプルが未知のクラスに属する確率の経験的推定を導入することを提案します。
次に、推定に基づいて、各ターゲット サンプルの不確実性を推定する $\delta$ フィルターを使用した線形部分空間での新しい未知のサンプル発見方法を提案します。これにより、ターゲット サンプルとその近傍の関係を十分に活用できます。
さらに、2 番目の問題については、この論文では、不確実性に基づくマージン損失によって、既知のサンプルと未知のサンプルの両方の信頼値のバランスが取れています。
ソース サンプルにマージンを適用して、未知のサンプルのクラス内分散と同様のソース サンプルのクラス内分散を促進します。

要約(オリジナル)

Universal domain adaptation (UniDA) aims to transfer the knowledge of common classes from source domain to target domain without any prior knowledge on the label set, which requires to distinguish the unknown samples from the known ones in the target domain. Like the traditional unsupervised domain adaptation problem, the misalignment between two domains exists due to the biased and less-discriminative embedding in target domain. Recent methods proposed to complete the domain misalignment by clustering target samples with the nearest neighbors or nearest prototypes. However, it is dangerous to do so because both known and unknown samples may distribute on the edges of source clusters. Meanwhile, other existing classifier-based methods could easily produce overconfident predictions for unknown samples because the supervised objectives in source domain leads the whole model to be biased towards the common classes. Therefore, to deal with the first issue, we propose to exploit the distribution of target samples and introduce an empirical estimation of the probability of a target sample belong to the unknown class. Then, based on the estimation, we propose a novel unknown samples discovering method in the linear subspace with a $\delta$-filter to estimate the uncertainty of each target sample, which can fully exploit the relationship between the target sample and its neighbors. Moreover, for the second issue, this paper well balances the confidence values of both known and unknown samples through an uncertainty-guided margin loss. It enforces a margin to source samples to encourage a similar intra-class variance of source samples to that of unknown samples.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google