Bayesian neural networks via MCMC: a Python-based tutorial

要約

ベイジアン推論は、機械学習および深層学習手法におけるパラメーター推定と不確実性の定量化のための方法論を提供します。
ベイズ推論の実装には、変分推論とマルコフ連鎖モンテカルロ (MCMC) サンプリング手法が使用されます。
過去 30 年間、MCMC サンプリング手法は、より大規模なモデル (ディープ ラーニングなど) やビッグ データの問題に適応する際にいくつかの課題に直面してきました。
ランジュバン提案分布など、勾配を組み込んだ高度な提案分布は、ベイジアン ニューラル ネットワークの MCMC サンプリングの制限の一部に対処する手段を提供します。
さらに、MCMC 手法は通常、統計学者に限定されており、現時点では深層学習研究者の間ではあまり知られていません。
シンプルなベイジアン線形モデルとロジスティック モデル、およびベイジアン ニューラル ネットワークをカバーする MCMC 手法のチュートリアルを紹介します。
このチュートリアルの目的は、ライブラリやチュートリアルが全体的に少ないことを考慮して、コーディングを通じて理論と実装の間のギャップを埋めることです。
このチュートリアルでは、Python のコードとその使用と拡張を可能にするデータと手順を提供します。
MCMC を介してそれぞれのベイジアン モデルを実装する場合の長所と短所を示す、いくつかのベンチマーク問題の結果を提供します。
ベイジアン ニューラル ネットワークの場合のマルチモーダル事後分布のサンプリングにおける課題と、収束診断方法のさらなる改善の必要性を強調します。

要約(オリジナル)

Bayesian inference provides a methodology for parameter estimation and uncertainty quantification in machine learning and deep learning methods. Variational inference and Markov Chain Monte-Carlo (MCMC) sampling methods are used to implement Bayesian inference. In the past three decades, MCMC sampling methods have faced some challenges in being adapted to larger models (such as in deep learning) and big data problems. Advanced proposal distributions that incorporate gradients, such as a Langevin proposal distribution, provide a means to address some of the limitations of MCMC sampling for Bayesian neural networks. Furthermore, MCMC methods have typically been constrained to statisticians and currently not well-known among deep learning researchers. We present a tutorial for MCMC methods that covers simple Bayesian linear and logistic models, and Bayesian neural networks. The aim of this tutorial is to bridge the gap between theory and implementation via coding, given a general sparsity of libraries and tutorials to this end. This tutorial provides code in Python with data and instructions that enable their use and extension. We provide results for some benchmark problems showing the strengths and weaknesses of implementing the respective Bayesian models via MCMC. We highlight the challenges in sampling multi-modal posterior distributions for the case of Bayesian neural networks and the need for further improvement of convergence diagnosis methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google