Approximate blocked Gibbs sampling for Bayesian neural networks

要約

この研究では、フィードフォワード ニューラル ネットワークのミニバッチ MCMC サンプリングがより実現可能になりました。
この目的を達成するために、ブロックされたギブス サンプリング スキームを介してパラメータのサブグループをサンプリングすることが提案されています。
パラメータ空間を分割することで、レイヤー幅に関係なくサンプリングが可能になります。
また、より深い層での提案の差異を減らすことで、深さの増加に対する受け入れ率の消失を軽減することも可能です。
非収束チェーンの長さを増やすと、分類タスクの予測精度が向上するため、許容率の消失を回避し、その結果、より長いチェーン実行を可能にすることには実用的な利点があります。
さらに、非収束チェーンの実現は、予測の不確実性の定量化に役立ちます。
未解決の問題は、拡張データの存在下でフィードフォワード ニューラル ネットワークのミニバッチ MCMC サンプリングを実行する方法です。

要約(オリジナル)

In this work, minibatch MCMC sampling for feedforward neural networks is made more feasible. To this end, it is proposed to sample subgroups of parameters via a blocked Gibbs sampling scheme. By partitioning the parameter space, sampling is possible irrespective of layer width. It is also possible to alleviate vanishing acceptance rates for increasing depth by reducing the proposal variance in deeper layers. Increasing the length of a non-convergent chain increases the predictive accuracy in classification tasks, so avoiding vanishing acceptance rates and consequently enabling longer chain runs have practical benefits. Moreover, non-convergent chain realizations aid in the quantification of predictive uncertainty. An open problem is how to perform minibatch MCMC sampling for feedforward neural networks in the presence of augmented data.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google