Optimally tackling covariate shift in RKHS-based nonparametric regression

要約

再現カーネル ヒルベルト空間 (RKHS) 上のノンパラメトリック回帰のコンテキストで共変量シフト問題を研究します。
ソース分布とターゲット分布の間の尤度比を使用して定義された共変量シフト問題の 2 つの自然なファミリーに焦点を当てます。
尤度比が一様に制限されている場合、慎重に選択された正則化パラメーターを使用したカーネル リッジ回帰 (KRR) 推定量が、正規のカーネル固有値を持つ RKHS の大規模ファミリーに対して (対数係数まで) ミニマックス レート最適であることが証明されます。
興味深いことに、KRR では、尤度比の上限を除けば、尤度比に関する完全な知識は必要ありません。
共変量シフトのない標準的な統計設定とは著しく対照的に、関数クラスに対する経験的リスクを最小限に抑える単純な推定量は、共変量シフトの下では KRR と比較して厳密に次善であることも示します。
次に、尤度比が無限である可能性があるが、有限の 2 次モーメントを持つ、より大きなクラスの共変量シフト問題に取り組みます。
ここでは、尤度比の慎重な切り捨てに基づいてサンプルを重み付けする、再重み付けされた KRR 推定器を提案します。
繰り返しますが、この推定量が対数因数までミニマックス レート最適であることを示すことができます。

要約(オリジナル)

We study the covariate shift problem in the context of nonparametric regression over a reproducing kernel Hilbert space (RKHS). We focus on two natural families of covariate shift problems defined using the likelihood ratios between the source and target distributions. When the likelihood ratios are uniformly bounded, we prove that the kernel ridge regression (KRR) estimator with a carefully chosen regularization parameter is minimax rate-optimal (up to a log factor) for a large family of RKHSs with regular kernel eigenvalues. Interestingly, KRR does not require full knowledge of likelihood ratios apart from an upper bound on them. In striking contrast to the standard statistical setting without covariate shift, we also demonstrate that a naive estimator, which minimizes the empirical risk over the function class, is strictly sub-optimal under covariate shift as compared to KRR. We then address the larger class of covariate shift problems where the likelihood ratio is possibly unbounded yet has a finite second moment. Here, we propose a reweighted KRR estimator that weights samples based on a careful truncation of the likelihood ratios. Again, we are able to show that this estimator is minimax rate-optimal, up to logarithmic factors.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google