Class Probability Matching Using Kernel Methods for Label Shift Adaptation

要約

ドメイン適応では、共変量シフト問題とラベル シフト問題は 2 つの異なる補完的なタスクです。
データ分布の差異が特徴確率の変動から生じる共変量シフト適応では、既存のアプローチは \textit{特徴確率マッチング} (\textit{FPM}) に基づいてこの問題に自然に対処します。
ただし、データ分布の違いがクラス確率の変動のみに起因するラベル シフト適応の場合、現在の方法では依然として $d$ 次元の特徴空間で FPM を使用して、1 次元ラベル空間でのクラス確率比を推定しています。
ラベル シフト適応をより自然かつ効果的に対処するために、ソース ドメインのクラス確率の新しい表現に触発されて、\textit{クラス確率マッチング} (\textit{CPM}) と呼ばれる新しいフレームワークを提案します。これは、
クラス確率比を推定するための 1 次元ラベル空間。$d$ 次元特徴空間で動作する FPM とは根本的に異なります。
さらに、条件付き確率を推定するカーネル ロジスティック回帰を CPM フレームワークに組み込むことにより、ラベル シフト適応のための \textit{カーネル メソッドを使用したクラス確率マッチング} (\textit{CPMKM}) と呼ばれるアルゴリズムを提案します。
理論的な観点から、マルチクラスラベルシフト適応のためのクロスエントロピー損失に関するCPMKMの最適な収束率を確立します。
実験の観点から、実際のデータセットでの比較は、CPMKM が既存の FPM ベースおよび最尤ベースのアルゴリズムよりも優れていることを示しています。

要約(オリジナル)

In domain adaptation, covariate shift and label shift problems are two distinct and complementary tasks. In covariate shift adaptation where the differences in data distribution arise from variations in feature probabilities, existing approaches naturally address this problem based on \textit{feature probability matching} (\textit{FPM}). However, for label shift adaptation where the differences in data distribution stem solely from variations in class probability, current methods still use FPM on the $d$-dimensional feature space to estimate the class probability ratio on the one-dimensional label space. To address label shift adaptation more naturally and effectively, inspired by a new representation of the source domain’s class probability, we propose a new framework called \textit{class probability matching} (\textit{CPM}) which matches two class probability functions on the one-dimensional label space to estimate the class probability ratio, fundamentally different from FPM operating on the $d$-dimensional feature space. Furthermore, by incorporating the kernel logistic regression into the CPM framework to estimate the conditional probability, we propose an algorithm called \textit{class probability matching using kernel methods} (\textit{CPMKM}) for label shift adaptation. From the theoretical perspective, we establish the optimal convergence rates of CPMKM with respect to the cross-entropy loss for multi-class label shift adaptation. From the experimental perspective, comparisons on real datasets demonstrate that CPMKM outperforms existing FPM-based and maximum-likelihood-based algorithms.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google