Provably Uncertainty-Guided Universal Domain Adaptation

要約

タイトル：確率的な不確実性ガイド下での普遍的ドメイン適応

要約：

・Universal domain adaptation（UniDA）は、ラベルセットの仮定なしに、ラベル付きのソースドメインからラベルなしのターゲットドメインへの知識の転送を目的としますが、それにはターゲットドメインで未知のサンプルと既知のサンプルを区別する必要があります。

・ UniDAの主な課題は、非同一のラベルセットが2つのドメインの不整合を引き起こすことです。また、ソースドメインのドメインの不一致性と監視された目標によって、モデル全体が共通のクラスにバイアスをかけ、未知のサンプルに対して過度に自信を持った予測を行うことがあります。

・この問題に対処するため、新しい不確実性ガイド下でのUniDAフレームワークを提案します。まず、潜在空間のターゲットサンプルの分布を十分に活用する、未知クラスに属するターゲットサンプルの確率の経験的推定を導入します。次に、推定に基づいて、線形部分空間内での$\delta$フィルターを使った新しい近傍検索方法を提案します。これにより、ターゲットサンプルとソースドメイン内の近傍との関係を活用して、ドメインの不一致性の影響を回避します。

・ この論文は、不確実性ガイド下でのマージン損失に基づいた予測の信頼度を、未知サンプルの信頼度に基づいて良好にバランスを取り、未知クラスに対する既知クラスの内部分散の間のギャップを縮小します。

・ 3つの公開データセットでの実験は、この方法が現在の最先端の方法を大幅に上回ることを示しています。

要約(オリジナル)

Universal domain adaptation (UniDA) aims to transfer the knowledge from a labeled source domain to an unlabeled target domain without any assumptions of the label sets, which requires distinguishing the unknown samples from the known ones in the target domain. A main challenge of UniDA is that the nonidentical label sets cause the misalignment between the two domains. Moreover, the domain discrepancy and the supervised objectives in the source domain easily lead the whole model to be biased towards the common classes and produce overconfident predictions for unknown samples. To address the above challenging problems, we propose a new uncertainty-guided UniDA framework. Firstly, we introduce an empirical estimation of the probability of a target sample belonging to the unknown class which fully exploits the distribution of the target samples in the latent space. Then, based on the estimation, we propose a novel neighbors searching scheme in a linear subspace with a $\delta$-filter to estimate the uncertainty score of a target sample and discover unknown samples. It fully utilizes the relationship between a target sample and its neighbors in the source domain to avoid the influence of domain misalignment. Secondly, this paper well balances the confidences of predictions for both known and unknown samples through an uncertainty-guided margin loss based on the confidences of discovered unknown samples, which can reduce the gap between the intra-class variances of known classes with respect to the unknown class. Finally, experiments on three public datasets demonstrate that our method significantly outperforms existing state-of-the-art methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI