Quantitative CLTs in Deep Neural Networks

要約

隠れ層の幅が大きな定数 $n$ に比例する、ランダムなガウス重みとバイアスを備えた完全接続ニューラル ネットワークの分布を研究します。
非線形性に関する穏やかな仮定の下では、大規模ではあるが有限の $n$ と任意の固定ネットワーク深さで有効な正規近似の定量的限界が得られます。
私たちの定理は、有限次元分布とプロセス全体の両方について、ランダムな完全に接続されたネットワーク (およびその導関数) と対応する無限幅のガウス プロセスとの間の距離は、$\gamma>0$ の場合 $n^{-\gamma}$ のようにスケールし、指数は不一致の測定に使用されるメトリックに依存することを示しています。
私たちの境界は、ネットワーク幅への依存性の点で、これまでに文献で入手可能なものよりも厳密に強力です。
1 次元の場合、それらが最適であることも証明します。つまり、一致する下限を確立します。

要約(オリジナル)

We study the distribution of a fully connected neural network with random Gaussian weights and biases in which the hidden layer widths are proportional to a large constant $n$. Under mild assumptions on the non-linearity, we obtain quantitative bounds on normal approximations valid at large but finite $n$ and any fixed network depth. Our theorems show both for the finite-dimensional distributions and the entire process, that the distance between a random fully connected network (and its derivatives) to the corresponding infinite width Gaussian process scales like $n^{-\gamma}$ for $\gamma>0$, with the exponent depending on the metric used to measure discrepancy. Our bounds are strictly stronger in terms of their dependence on network width than any previously available in the literature; in the one-dimensional case, we also prove that they are optimal, i.e., we establish matching lower bounds.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google