Uncertainty-guided Source-free Domain Adaptation

要約

ソースフリー ドメイン アダプテーション (SFDA) は、事前トレーニング済みのソース モデルのみを使用して、分類子をラベルのないターゲット データ セットに適応させることを目的としています。
ただし、ソース データの欠如とドメイン シフトにより、ターゲット データの予測は信頼できなくなります。
ソースモデル予測の不確実性を定量化し、それを利用してターゲット適応を導くことを提案します。
このために、モデル予測に対する分布を誘導するネットワーク パラメーターに事前確率を組み込むことにより、確率的ソース モデルを構築します。
不確実性は、ラプラス近似を使用して推定され、ソース多様体に存在しないターゲット データ ポイントを特定し、ターゲット データの相互情報量を最大化するときにそれらの重みを下げるために組み込まれます。
最近の研究とは異なり、私たちの確率論的処理は計算量が少なく、ソース トレーニングとターゲット適応を分離し、特別なソース トレーニングやモデル アーキテクチャの変更を必要としません。
クローズド セットとオープン セットの設定で、従来の SFDA に対する不確実性に基づく SFDA の利点を示し、チューニングなしでも強力なドメイン シフトに対してより堅牢であるという経験的証拠を提供します。

要約(オリジナル)

Source-free domain adaptation (SFDA) aims to adapt a classifier to an unlabelled target data set by only using a pre-trained source model. However, the absence of the source data and the domain shift makes the predictions on the target data unreliable. We propose quantifying the uncertainty in the source model predictions and utilizing it to guide the target adaptation. For this, we construct a probabilistic source model by incorporating priors on the network parameters inducing a distribution over the model predictions. Uncertainties are estimated by employing a Laplace approximation and incorporated to identify target data points that do not lie in the source manifold and to down-weight them when maximizing the mutual information on the target data. Unlike recent works, our probabilistic treatment is computationally lightweight, decouples source training and target adaptation, and requires no specialized source training or changes of the model architecture. We show the advantages of uncertainty-guided SFDA over traditional SFDA in the closed-set and open-set settings and provide empirical evidence that our approach is more robust to strong domain shifts even without tuning.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google