When is Importance Weighting Correction Needed for Covariate Shift Adaptation?

要約

このホワイト ペーパーでは、トレーニング データとテスト データの入力分布が異なる教師あり学習の一般的な状況である共変量シフトに対処するために、重要度の重み付け (IW) 補正が必要な場合について調査します。
古典的な結果は、モデルがパラメトリックであり、指定が誤っている場合、IW 補正が必要であることを示しています。
対照的に、最近の結果は、モデルがノンパラメトリックで明確に指定されている場合、IW 補正が必要ない可能性があることを示しています。
モデルがノンパラメトリックであり、仕様が誤っているという文献で欠落しているケースを調べ、テスト分布の真の未知関数の最良の近似値を取得するために IW 補正が必要であることを示します。
これは、パラメトリック モデルとノンパラメトリック モデル、適切に指定された設定と誤って指定された設定、任意の重み付け関数など、さまざまな設定をカバーする IW 修正カーネル リッジ回帰を分析することによって行います。

要約(オリジナル)

This paper investigates when the importance weighting (IW) correction is needed to address covariate shift, a common situation in supervised learning where the input distributions of training and test data differ. Classic results show that the IW correction is needed when the model is parametric and misspecified. In contrast, recent results indicate that the IW correction may not be necessary when the model is nonparametric and well-specified. We examine the missing case in the literature where the model is nonparametric and misspecified, and show that the IW correction is needed for obtaining the best approximation of the true unknown function for the test distribution. We do this by analyzing IW-corrected kernel ridge regression, covering a variety of settings, including parametric and nonparametric models, well-specified and misspecified settings, and arbitrary weighting functions.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google