Gaussian random field approximation via Stein’s method with applications to wide random neural networks

要約

$n$-sphere とガウス分布によってインデックス付けされた任意の連続 $\mathbb{R}^d$ 値のランダム場の間の、$\sup$-norm に関するワッサーシュタイン距離 ($W_1$) の上限を導出します。
、スタインの方法に基づいています。
私たちは、よりスムーズな計量の境界を $W_1$ 距離に転送できる新しいガウス平滑化手法を開発しました。
平滑化は、ラプラシアン演算子の累乗を使用して構築された共分散関数に基づいており、関連するガウス プロセスが扱いやすい Cameron-Martin 空間または再現カーネル ヒルベルト空間を持つように設計されています。
この機能により、これまで文献で考慮されていた 1 次元の間隔ベースのインデックス セットを超えることができます。
一般的な結果を特殊化して、任意の深さの幅広いランダム ニューラル ネットワークのガウス ランダム フィールド近似の最初の限界と、ランダム フィールド レベルでのリプシッツ活性化関数を取得します。
境界は、ネットワークの幅とランダムな重みのモーメントの観点から明示的に表現されます。
活性化関数に 3 つの有界導関数がある場合にも、より厳密な境界が得られます。

要約(オリジナル)

We derive upper bounds on the Wasserstein distance ($W_1$), with respect to $\sup$-norm, between any continuous $\mathbb{R}^d$ valued random field indexed by the $n$-sphere and the Gaussian, based on Stein’s method. We develop a novel Gaussian smoothing technique that allows us to transfer a bound in a smoother metric to the $W_1$ distance. The smoothing is based on covariance functions constructed using powers of Laplacian operators, designed so that the associated Gaussian process has a tractable Cameron-Martin or Reproducing Kernel Hilbert Space. This feature enables us to move beyond one dimensional interval-based index sets that were previously considered in the literature. Specializing our general result, we obtain the first bounds on the Gaussian random field approximation of wide random neural networks of any depth and Lipschitz activation functions at the random field level. Our bounds are explicitly expressed in terms of the widths of the network and moments of the random weights. We also obtain tighter bounds when the activation function has three bounded derivatives.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google