Dimensionality Reduction and Wasserstein Stability for Kernel Regression

要約

高次元の回帰フレームワークでは、最初に入力変数の次元を削減し、次に削減された入力変数を使用してカーネル回帰で出力変数を予測するという単純な 2 ステップの手順の結果を研究します。
結果として生じる回帰誤差を分析するために、Wasserstein 距離に関するカーネル回帰の新しい安定性結果が導出されます。
これにより、摂動された入力データを回帰関数に適合させるために使用するときに発生するエラーを制限することができます。
一般的な安定性の結果を主成分分析 (PCA) に適用します。
主成分分析とカーネル回帰の両方に関する文献からの既知の推定値を利用して、2 段階の手順の収束率を推定します。
後者は、半監視型設定で特に便利であることがわかります。

要約(オリジナル)

In a high-dimensional regression framework, we study consequences of the naive two-step procedure where first the dimension of the input variables is reduced and second, the reduced input variables are used to predict the output variable with kernel regression. In order to analyze the resulting regression errors, a novel stability result for kernel regression with respect to the Wasserstein distance is derived. This allows us to bound errors that occur when perturbed input data is used to fit the regression function. We apply the general stability result to principal component analysis (PCA). Exploiting known estimates from the literature on both principal component analysis and kernel regression, we deduce convergence rates for the two-step procedure. The latter turns out to be particularly useful in a semi-supervised setting.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google