Deformed semicircle law and concentration of nonlinear random matrices for ultra-wide neural networks

要約

【タイトル】超広帯域ニューラルネットワークにおける非線形ランダム行列の集中と変形された半円則

【要約】

– $f(X)=\frac{1}{\sqrt{d_1}}\boldsymbol{a}^\top \sigma\left(WX\right)$で表される二層の完全連結型ニューラルネットワークを検討し、その連関する2つの核行列の極限スペクトル分布を調べる。
– このニューラルネットワークモデルに対して、第1層の幅$d_1$がサンプルサイズ$n$よりも非常に大きい「超広帯域領域」に焦点を当て、帯域幅$d_1/n\to\infty$および$n\to\infty$となると、変形された半円則が現れることを示す。
– 汎化された標本共分散行列については依存関係があることを定め、その限界法則を証明し、ニューラルネットワークモデルに適用するために、非線形ハンソン-ライト不等式を提供する。
– 調査対象となるCKおよびNTKの最小固有値の下限に加え、スペクトルノルムでの制限核周りのCKおよびNTKの集中を示す。
– 応用として、標本カーネルによるランダムフィーチャー回帰が、超広帯域領域において限界カーネル回帰と同等の漸近的な性能を発揮することを示す。

要約(オリジナル)

In this paper, we investigate a two-layer fully connected neural network of the form $f(X)=\frac{1}{\sqrt{d_1}}\boldsymbol{a}^\top \sigma\left(WX\right)$, where $X\in\mathbb{R}^{d_0\times n}$ is a deterministic data matrix, $W\in\mathbb{R}^{d_1\times d_0}$ and $\boldsymbol{a}\in\mathbb{R}^{d_1}$ are random Gaussian weights, and $\sigma$ is a nonlinear activation function. We study the limiting spectral distributions of two empirical kernel matrices associated with $f(X)$: the empirical conjugate kernel (CK) and neural tangent kernel (NTK), beyond the linear-width regime ($d_1\asymp n$). We focus on the $\textit{ultra-wide regime}$, where the width $d_1$ of the first layer is much larger than the sample size $n$. Under appropriate assumptions on $X$ and $\sigma$, a deformed semicircle law emerges as $d_1/n\to\infty$ and $n\to\infty$. We first prove this limiting law for generalized sample covariance matrices with some dependency. To specify it for our neural network model, we provide a nonlinear Hanson-Wright inequality that is suitable for neural networks with random weights and Lipschitz activation functions. We also demonstrate non-asymptotic concentrations of the empirical CK and NTK around their limiting kernels in the spectral norm, along with lower bounds on their smallest eigenvalues. As an application, we show that random feature regression induced by the empirical kernel achieves the same asymptotic performance as its limiting kernel regression under the ultra-wide regime. This allows us to calculate the asymptotic training and test errors for random feature regression using the corresponding kernel regression.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI