Dimension-free deterministic equivalents for random feature regression

要約

本研究では、ランダム特徴リッジ回帰(RRRR)の汎化性能を調査する。我々の主な貢献は、RFRRのテスト誤差の一般的な決定論的等価性である。具体的には、ある集中性の下で、テスト誤差が特徴マップ固有値にのみ依存する閉形式でよく近似されることを示す。注目すべきは、我々の近似保証は非漸近的で、乗法的で、特徴マップの次元に依存せず、無限次元の特徴を可能にすることである。我々は、この決定論的等価性が我々の理論的解析を超えて広く保持されることを期待し、様々な実データセットと合成データセットでその予測を実証的に検証する。その応用として、スペクトルとターゲットの減衰に関する標準的なべき乗則の仮定の下で、鋭い過剰誤差率を導出する。特に、最適な最小誤差率を達成する最小特徴数についての厳密な結果を提供する。

要約(オリジナル)

In this work we investigate the generalization performance of random feature ridge regression (RFRR). Our main contribution is a general deterministic equivalent for the test error of RFRR. Specifically, under a certain concentration property, we show that the test error is well approximated by a closed-form expression that only depends on the feature map eigenvalues. Notably, our approximation guarantee is non-asymptotic, multiplicative, and independent of the feature map dimension — allowing for infinite-dimensional features. We expect this deterministic equivalent to hold broadly beyond our theoretical analysis, and we empirically validate its predictions on various real and synthetic datasets. As an application, we derive sharp excess error rates under standard power-law assumptions of the spectrum and target decay. In particular, we provide a tight result for the smallest number of features achieving optimal minimax error rate.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL