Posterior Inference on Shallow Infinitely Wide Bayesian Neural Networks under Weights with Unbounded Variance

要約

Neal (1996) の古典的で影響力のある研究から、1 つの隠れ層を持つベイジアン ニューラル ネットワークの無限幅スケーリング限界はガウス過程、 \emph{ネットワークの重みが事前分散の限界を超えている場合} であることが知られています。
ニールの結果は、複数の隠れ層を持つネットワークと畳み込みニューラル ネットワークに拡張され、ガウス プロセスのスケーリング制限も適用されました。
ガウス過程の扱いやすい特性により、単純な事後推論と不確実性の定量化が可能になり、有限幅のネットワークと比較して極限過程の研究が大幅に簡素化されます。
ただし、分散が無制限のニューラル ネットワークの重みには、特有の課題が生じます。
この場合、古典的な中心極限定理は破綻し、適切な条件下ではスケーリング極限が $\alpha$ 安定過程であることがよく知られています。
しかし、現在の文献は主にこれらのプロセスの下での順シミュレーションに限定されており、ガウスプロセスの場合とは異なり、そのようなスケーリング制限の下での事後推論の問題はほとんど対処されていないままです。
この目的を達成するために、私たちの貢献は、 \emph{条件付きガウス} 表現を使用した、解釈可能で計算効率の高い事後推論手順です。これにより、非ガウス領域における扱いやすい事後推論と不確実性の定量化にガウスプロセス機構を最大限に活用できるようになります。
。

要約(オリジナル)

From the classical and influential works of Neal (1996), it is known that the infinite width scaling limit of a Bayesian neural network with one hidden layer is a Gaussian process, \emph{when the network weights have bounded prior variance}. Neal’s result has been extended to networks with multiple hidden layers and to convolutional neural networks, also with Gaussian process scaling limits. The tractable properties of Gaussian processes then allow straightforward posterior inference and uncertainty quantification, considerably simplifying the study of the limit process compared to a network of finite width. Neural network weights with unbounded variance, however, pose unique challenges. In this case, the classical central limit theorem breaks down and it is well known that the scaling limit is an $\alpha$-stable process under suitable conditions. However, current literature is primarily limited to forward simulations under these processes and the problem of posterior inference under such a scaling limit remains largely unaddressed, unlike in the Gaussian process case. To this end, our contribution is an interpretable and computationally efficient procedure for posterior inference, using a \emph{conditionally Gaussian} representation, that then allows full use of the Gaussian process machinery for tractable posterior inference and uncertainty quantification in the non-Gaussian regime.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google