Quantitative CLTs in Deep Neural Networks

要約

隠れ層の幅が大きな定数 $n$ に比例する、ランダムなガウス重みとバイアスを備えた完全接続ニューラル ネットワークの分布を研究します。
非線形性に関する穏やかな仮定の下では、大規模ではあるが有限の $n$ と任意の固定ネットワーク深さで有効な正規近似の定量的限界が得られます。
私たちの定理は、有限次元分布とプロセス全体の両方について、ランダムな完全に接続されたネットワーク (およびその導関数) と、対応する無限幅のガウス プロセスとの間の距離が、$ に対して $n^{-\gamma}$ のようにスケールされることを示しています。
\gamma>0,$ であり、指数は不一致の測定に使用されるメトリックに応じて異なります。
私たちの境界は、ネットワーク幅への依存性の点で、これまでの文献で入手可能なものよりも強力です。

要約(オリジナル)

We study the distribution of a fully connected neural network with random Gaussian weights and biases in which the hidden layer widths are proportional to a large constant $n$. Under mild assumptions on the non-linearity, we obtain quantitative bounds on normal approximations valid at large but finite $n$ and any fixed network depth. Our theorems show, both for the finite-dimensional distributions and the entire process, that the distance between a random fully connected network (and its derivatives) to the corresponding infinite width Gaussian process scales like $n^{-\gamma}$ for $\gamma>0,$ with the exponent depending on the metric used to measure discrepancy. Our bounds are stronger in terms of their dependence on network width than any previously available in the literature.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google