Double-Weighting for Covariate Shift Adaptation

要約

教師あり学習は、多くの場合、トレーニングおよびテスト サンプル $\mathrm{p}_\text{tr}(x)$ および $\mathrm{p} のインスタンス (共変量 $x$) の周辺分布が変化する共変量シフトの影響を受けます。
_\text{te}(x)$ は異なりますが、ラベルの条件は一致します。
既存のアプローチは、比率 $\mathrm{p}_\text{te}(x)/\mathrm{p}_\text{tr}(x)$ をトレーニング サンプルの重み付けに使用する (再重み付け法) ことによって、このような共変量シフトに対処します。
または、$\mathrm{p}_\text{tr}(x)/\mathrm{p}_\text{te}(x)$ の比率を使用してサンプルの重み付けをテストします (堅牢な方法)。
ただし、このようなアプローチのパフォーマンスは、サポートが一致していない場合、または上記の比率が大きな値をとる場合には低下する可能性があります。
我々は、トレーニングサンプルとテストサンプルの両方に重み付けをすることでそのような制限を回避する、共変量シフト適応のためのミニマックスリスク分類（MRC）アプローチを提案します。
さらに、両方の重みセットを取得し、従来のカーネル平均マッチング手法を一般化する効果的な手法を開発します。
私たちは、再重み付けされた方法と比較して有効サンプルサイズの大幅な増加を示す新しい一般化限界を私たちの方法に提供します。
提案された方法は、合成実験と実証実験の両方で分類パフォーマンスの向上も実現します。

要約(オリジナル)

Supervised learning is often affected by a covariate shift in which the marginal distributions of instances (covariates $x$) of training and testing samples $\mathrm{p}_\text{tr}(x)$ and $\mathrm{p}_\text{te}(x)$ are different but the label conditionals coincide. Existing approaches address such covariate shift by either using the ratio $\mathrm{p}_\text{te}(x)/\mathrm{p}_\text{tr}(x)$ to weight training samples (reweighting methods) or using the ratio $\mathrm{p}_\text{tr}(x)/\mathrm{p}_\text{te}(x)$ to weight testing samples (robust methods). However, the performance of such approaches can be poor under support mismatch or when the above ratios take large values. We propose a minimax risk classification (MRC) approach for covariate shift adaptation that avoids such limitations by weighting both training and testing samples. In addition, we develop effective techniques that obtain both sets of weights and generalize the conventional kernel mean matching method. We provide novel generalization bounds for our method that show a significant increase in the effective sample size compared with reweighted methods. The proposed method also achieves enhanced classification performance in both synthetic and empirical experiments.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google