Dirichlet-based Uncertainty Calibration for Active Domain Adaptation

要約

アクティブ ドメイン アダプテーション (DA) は、注釈を付ける限られたターゲット データを積極的に選択することにより、新しいターゲット ドメインでのモデルの適応を最大限に促進することを目的としていますが、従来のアクティブ ラーニング方法は、ドメイン シフトの問題を考慮していないため、あまり効果的ではない可能性があります。
アクティブなDAメソッドは、ターゲットドメイン特性の代表性を測定するターゲットネスをさらに提案することでこれに対処しますが、それらの予測の不確実性は通常、決定論的モデルの予測に基づいており、分布シフトのあるデータで簡単に誤調整される可能性があります。
これを考慮して、アクティブ DA の \textit{Dirichlet-based Uncertainty Calibration} (DUC) アプローチを提案します。これは、誤調整の軽減と有益なターゲット サンプルの選択を同時に達成します。
具体的には、予測にディリクレ事前分布を配置し、決定論的モデルのような点推定ではなく、確率シンプレックスの分布として予測を解釈します。
この方法により、すべての可能な予測を考慮することができ、一方的な予測の誤調整を軽減できます。
次に、さまざまな不確実性の起源に基づく2ラウンドの選択戦略が設計され、ターゲットドメインの代表であり、識別可能性を助長するターゲットサンプルを選択します。
クロスドメインの画像分類とセマンティック セグメンテーションに関する広範な実験により、DUC の優位性が検証されています。

要約(オリジナル)

Active domain adaptation (DA) aims to maximally boost the model adaptation on a new target domain by actively selecting limited target data to annotate, whereas traditional active learning methods may be less effective since they do not consider the domain shift issue. Despite active DA methods address this by further proposing targetness to measure the representativeness of target domain characteristics, their predictive uncertainty is usually based on the prediction of deterministic models, which can easily be miscalibrated on data with distribution shift. Considering this, we propose a \textit{Dirichlet-based Uncertainty Calibration} (DUC) approach for active DA, which simultaneously achieves the mitigation of miscalibration and the selection of informative target samples. Specifically, we place a Dirichlet prior on the prediction and interpret the prediction as a distribution on the probability simplex, rather than a point estimate like deterministic models. This manner enables us to consider all possible predictions, mitigating the miscalibration of unilateral prediction. Then a two-round selection strategy based on different uncertainty origins is designed to select target samples that are both representative of target domain and conducive to discriminability. Extensive experiments on cross-domain image classification and semantic segmentation validate the superiority of DUC.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google