Two-Point Deterministic Equivalence for Stochastic Gradient Dynamics in Linear Models

要約

本論文では、ランダム行列resolventの2点関数に関する新しい決定論的等価性を導出する。この結果を用いて、確率的勾配降下法を用いて訓練された様々な高次元線形モデルの性能を統一的に導出する。これには、高次元線形回帰、カーネル回帰、ランダム特徴モデルが含まれる。我々の結果は、以前から知られている漸近法だけでなく、新しい漸近法も含んでいる。

要約(オリジナル)

We derive a novel deterministic equivalence for the two-point function of a random matrix resolvent. Using this result, we give a unified derivation of the performance of a wide variety of high-dimensional linear models trained with stochastic gradient descent. This includes high-dimensional linear regression, kernel regression, and random feature models. Our results include previously known asymptotics as well as novel ones.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL