PseudoCal: A Source-Free Approach to Unsupervised Uncertainty Calibration in Domain Adaptation

要約

教師なしドメイン適応 (UDA) は、ラベルのないターゲット ドメインのモデルの精度の向上において目覚ましい進歩を遂げています。
しかし、UDA モデルを安全に導入するための重要な側面であるターゲット領域における予測不確実性の調整は、あまり注目されていません。
従来のドメイン内キャリブレーション方法である \textit{温度スケーリング} (TempScal) は、ドメイン分布の変化とラベル付けされたターゲット ドメイン データの欠如による課題に直面しています。
最近のアプローチでは、重要度重み付け技術を採用して、再重み付けされたラベル付きソース データに基づいて目標の最適温度を推定しています。
それにもかかわらず、これらの方法にはソース データが必要であり、深刻なドメイン シフトの下では信頼性の低い密度推定が発生するため、ソースフリーの UDA 設定には適していません。
これらの制限を克服するために、ラベルのないターゲット データのみに依存するソースフリーのキャリブレーション方法である PseudoCal を提案します。
UDA キャリブレーションを \textit{共変量シフト} 問題として扱うこれまでのアプローチとは異なり、私たちはこれをターゲット ドメインに固有の教師なしキャリブレーション問題として考慮します。
TempScal の負の対数尤度 (NLL) 目標の因数分解を動機として、実際のターゲットの構造を捕捉するラベル付きの疑似ターゲット セットを生成します。
そうすることで、教師なしキャリブレーション問題を教師ありキャリブレーション問題に変換し、TempScal などの広く使用されているドメイン内メソッドを使用して効果的に対処できるようにします。
最後に、従来の UDA 設定と最近のソースフリー UDA シナリオの両方を考慮して、10 の UDA メソッドについて広範な実験を行うことにより、PseudoCal のキャリブレーション パフォーマンスを徹底的に評価します。
実験結果は、PseudoCal の優れたパフォーマンスを一貫して実証しており、既存の校正方法と比較して校正誤差が大幅に減少していることを示しています。

要約(オリジナル)

Unsupervised domain adaptation (UDA) has witnessed remarkable advancements in improving the accuracy of models for unlabeled target domains. However, the calibration of predictive uncertainty in the target domain, a crucial aspect of the safe deployment of UDA models, has received limited attention. The conventional in-domain calibration method, \textit{temperature scaling} (TempScal), encounters challenges due to domain distribution shifts and the absence of labeled target domain data. Recent approaches have employed importance-weighting techniques to estimate the target-optimal temperature based on re-weighted labeled source data. Nonetheless, these methods require source data and suffer from unreliable density estimates under severe domain shifts, rendering them unsuitable for source-free UDA settings. To overcome these limitations, we propose PseudoCal, a source-free calibration method that exclusively relies on unlabeled target data. Unlike previous approaches that treat UDA calibration as a \textit{covariate shift} problem, we consider it as an unsupervised calibration problem specific to the target domain. Motivated by the factorization of the negative log-likelihood (NLL) objective in TempScal, we generate a labeled pseudo-target set that captures the structure of the real target. By doing so, we transform the unsupervised calibration problem into a supervised one, enabling us to effectively address it using widely-used in-domain methods like TempScal. Finally, we thoroughly evaluate the calibration performance of PseudoCal by conducting extensive experiments on 10 UDA methods, considering both traditional UDA settings and recent source-free UDA scenarios. The experimental results consistently demonstrate the superior performance of PseudoCal, exhibiting significantly reduced calibration error compared to existing calibration methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google