Dimensionality Reduction and Wasserstein Stability for Kernel Regression

要約

タイトル：カーネル回帰の次元削減とワッシュスタイン安定性
要約：
– 高次元回帰フレームワークで、入力変数の次元を減らし、次にカーネル回帰を使用して出力変数を予測する素朴な二段階手順の結果について研究する。
– 結果を解析するために、ワッシュスタイン距離に関するカーネル回帰の新しい安定性結果を導出する。
– これにより、摂動された入力データを使用して回帰関数をフィットする際に発生するエラーを境界付けることができる。
– 一般的な安定性結果を主成分分析（PCA）に適用します。
– 主成分分析とカーネル回帰の両方から文献で知られている推定量を利用して、2段階の手順の収束速度を導出する。
– 後者は、半教師あり設定で特に有用であることが判明しました。

要約(オリジナル)

In a high-dimensional regression framework, we study consequences of the naive two-step procedure where first the dimension of the input variables is reduced and second, the reduced input variables are used to predict the output variable with kernel regression. In order to analyze the resulting regression errors, a novel stability result for kernel regression with respect to the Wasserstein distance is derived. This allows us to bound errors that occur when perturbed input data is used to fit the regression function. We apply the general stability result to principal component analysis (PCA). Exploiting known estimates from the literature on both principal component analysis and kernel regression, we deduce convergence rates for the two-step procedure. The latter turns out to be particularly useful in a semi-supervised setting.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI