Global law of conjugate kernel random matrices with heavy-tailed weights

要約

コンジュゲートカーネルランダムマトリックス$ yy^\ top $の漸近スペクトル挙動を研究します。ここで、$ y = f（wx）$は2層ニューラルネットワークモデルから生じます。
$ w $と$ x $が両方ともランダムな長方形のマトリックスである設定をI.I.D.
$ w $のエントリが重い尾のある分布に続いているエントリは、$ x $のエントリがライトテールを持っています。
$ w $に関する私たちの仮定には、$ \ alpha \ in（0,2）$を備えた対称$ \ alpha $ stable法則など、$ \ mathcal {o}を備えたスパースマトリックスなど、幅広いクラスの重尾分布が含まれています（1
）$行ごとのゼロ以外のエントリ。
アクティベーション関数$ f $は、エントリワイズで適用され、非線形、滑らかで、奇数です。
$ yy^\ top $の固有値分布をそのモーメントで計算することにより、重量が$ y $のエントリ間に強い相関関係を誘発し、軽量の重量を持つモデルと比較してより豊かで根本的に異なるスペクトル挙動につながることを示します。
。

要約(オリジナル)

We study the asymptotic spectral behavior of the conjugate kernel random matrix $YY^\top$, where $Y= f(WX)$ arises from a two-layer neural network model. We consider the setting where $W$ and $X$ are both random rectangular matrices with i.i.d. entries, where the entries of $W$ follow a heavy-tailed distribution, while those of $X$ have light tails. Our assumptions on $W$ include a broad class of heavy-tailed distributions, such as symmetric $\alpha$-stable laws with $\alpha \in (0,2)$ and sparse matrices with $\mathcal{O}(1)$ nonzero entries per row. The activation function $f$, applied entrywise, is nonlinear, smooth, and odd. By computing the eigenvalue distribution of $YY^\top$ through its moments, we show that heavy-tailed weights induce strong correlations between the entries of $Y$, leading to richer and fundamentally different spectral behavior compared to models with light-tailed weights.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google