Nonlinear spiked covariance matrices and signal propagation in deep neural networks

要約

最近の多くの研究では、フィードフォワード ニューラル ネットワークの非線形特徴マップによって定義される共役カーネル (CK) の固有値スペクトルが研究されています。
しかし、既存の結果は経験的な固有値分布の弱い収束を確立するだけであり、学習問題の低次元信号構造を捉えることが多い「スパイク」固有値と固有ベクトルの正確な定量的特徴付けを提供するには至っていません。
この研究では、特殊なケースとして CK を含む、スパイク共分散モデルの非線形バージョンの信号固有値と固有ベクトルを特徴付けます。
この一般的な結果を使用して、入力データ内のスパイクされた固有構造がランダムな重みを持つニューラル ネットワークの隠れ層をどのように伝播するかを定量的に説明します。
2 番目のアプリケーションとして、重み行列がトレーニングを通じてランク 1 の信号成分を開発し、テスト データ上の CK のスパイク固有ベクトルとターゲット関数の位置合わせを特徴付ける、表現学習の単純な体制を研究します。

要約(オリジナル)

Many recent works have studied the eigenvalue spectrum of the Conjugate Kernel (CK) defined by the nonlinear feature map of a feedforward neural network. However, existing results only establish weak convergence of the empirical eigenvalue distribution, and fall short of providing precise quantitative characterizations of the ”spike” eigenvalues and eigenvectors that often capture the low-dimensional signal structure of the learning problem. In this work, we characterize these signal eigenvalues and eigenvectors for a nonlinear version of the spiked covariance model, including the CK as a special case. Using this general result, we give a quantitative description of how spiked eigenstructure in the input data propagates through the hidden layers of a neural network with random weights. As a second application, we study a simple regime of representation learning where the weight matrix develops a rank-one signal component over training and characterize the alignment of the target function with the spike eigenvector of the CK on test data.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google