Asymptotics of Learning with Deep Structured (Random) Features

要約

大きなクラスの特徴マップについては、入力次元、隠れ層の幅、トレーニング サンプルの数が比例して大きくなる高次元の制限で、読み出し層の学習に関連するテスト エラーの厳密な漸近的特徴付けを提供します。
この特徴付けは、特徴の母集団共分散の観点から定式化されます。
私たちの研究は、ガウス レインボー ニューラル ネットワーク、つまり、ランダムだが構造化された重みを持つ深い非線形全結合ネットワークでの学習の問題によって部分的に動機付けられており、その行ごとの共分散は、前の層の重みに依存することがさらに許可されています。
このようなネットワークについては、重み行列に関する特徴共分散の閉形式の式も導出します。
さらに、場合によっては、私たちの結果が、勾配降下下でトレーニングされた深い有限幅ニューラル ネットワークによって学習された特徴マップをキャプチャできることもわかりました。

要約(オリジナル)

For a large class of feature maps we provide a tight asymptotic characterisation of the test error associated with learning the readout layer, in the high-dimensional limit where the input dimension, hidden layer widths, and number of training samples are proportionally large. This characterization is formulated in terms of the population covariance of the features. Our work is partially motivated by the problem of learning with Gaussian rainbow neural networks, namely deep non-linear fully-connected networks with random but structured weights, whose row-wise covariances are further allowed to depend on the weights of previous layers. For such networks we also derive a closed-form formula for the feature covariance in terms of the weight matrices. We further find that in some cases our results can capture feature maps learned by deep, finite-width neural networks trained under gradient descent.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google