Function-Space MCMC for Bayesian Wide Neural Networks

要約

ベイジアン ニューラル ネットワークは、ディープ ラーニングと確率論的推論の魅力的な融合を表し、複雑な予測モデルの不確実性を理解するための魅力的なフレームワークを提供します。
この論文では、ベイジアン ニューラル ネットワークの幅が大きくなるにつれて、再パラメータ化された重みの事後分布からサンプリングするための、前処理済みクランク ニコルソン アルゴリズムとそのランジュバン バージョンの使用について調査します。
無限次元設定においてロバストであることに加えて、提案された方法の受け入れ確率は、ステップサイズの調整とは無関係に、ネットワークの幅が増加するにつれて 1 に近づくことを証明します。
さらに、いくつかの現実世界のケースで、不足減衰ランジュバン モンテカルロ、事前調整済みクランク ニコルソン、および事前調整済みクランク ニコルソン ランジュバン サンプラーの混合速度がネットワーク幅の変化によってどのような影響を受けるかを調べて比較します。
私たちの発見は、他の分析されたアルゴリズムと比較してより高い有効サンプルサイズと改善された診断結果によって証明されるように、ワイドベイジアンニューラルネットワーク構成では、前処理済みクランクニコルソン法が再パラメータ化された事後分布のより効率的なサンプリングを可能にすることを示唆しています。

要約(オリジナル)

Bayesian Neural Networks represent a fascinating confluence of deep learning and probabilistic reasoning, offering a compelling framework for understanding uncertainty in complex predictive models. In this paper, we investigate the use of the preconditioned Crank-Nicolson algorithm and its Langevin version to sample from the reparametrised posterior distribution of the weights as the widths of Bayesian Neural Networks grow larger. In addition to being robust in the infinite-dimensional setting, we prove that the acceptance probabilities of the proposed methods approach 1 as the width of the network increases, independently of any stepsize tuning. Moreover, we examine and compare how the mixing speeds of the underdamped Langevin Monte Carlo, the preconditioned Crank-Nicolson and the preconditioned Crank-Nicolson Langevin samplers are influenced by changes in the network width in some real-world cases. Our findings suggest that, in wide Bayesian Neural Networks configurations, the preconditioned Crank-Nicolson method allows for more efficient sampling of the reparametrised posterior distribution, as evidenced by a higher effective sample size and improved diagnostic results compared with the other analysed algorithms.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google