Dimension-free deterministic equivalents and scaling laws for random feature regression

要約

この研究では、ランダム特徴リッジ回帰 (RFRR) の一般化パフォーマンスを調査します。
私たちの主な貢献は、RFRR のテスト誤差の一般的な決定論的等価物です。
具体的には、特定の集中特性の下で、テスト誤差が特徴マップの固有値のみに依存する閉形式でよく近似されることを示します。
特に、私たちの近似保証は非漸近的、乗法的であり、特徴マップの次元に依存しないため、無限次元の特徴が可能になります。
私たちは、この決定論的等価性が理論的分析を超えて広く保持されると期待しており、さまざまな実際のデータセットおよび合成データセットでその予測を経験的に検証しています。
アプリケーションとして、スペクトルとターゲット減衰の標準的なべき乗則仮定の下で鋭い超過誤り率を導き出します。
特に、最適な最小エラー率を達成する最小数の特徴に対して厳密な結果を提供します。

要約(オリジナル)

In this work we investigate the generalization performance of random feature ridge regression (RFRR). Our main contribution is a general deterministic equivalent for the test error of RFRR. Specifically, under a certain concentration property, we show that the test error is well approximated by a closed-form expression that only depends on the feature map eigenvalues. Notably, our approximation guarantee is non-asymptotic, multiplicative, and independent of the feature map dimension — allowing for infinite-dimensional features. We expect this deterministic equivalent to hold broadly beyond our theoretical analysis, and we empirically validate its predictions on various real and synthetic datasets. As an application, we derive sharp excess error rates under standard power-law assumptions of the spectrum and target decay. In particular, we provide a tight result for the smallest number of features achieving optimal minimax error rate.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google