Bayesian posterior approximation with stochastic ensembles

要約

ベイズの事後推定を近似するために、確率的ニューラルネットワークのアンサンブルを導入する。確率的アンサンブルは分布の族として定式化され、変分推論を用いてベイズの事後推定を近似するように訓練される。我々は、モンテカルロドロップアウト、DropConnect、そしてドロップアウトの新しいノンパラメトリックバージョンに基づく確率的アンサンブルを実装し、おもちゃの問題とCIFAR画像分類で評価する。両タスクにおいて、ハミルトニアンモンテカルロシミュレーションと直接比較し、後成の品質をテストする。その結果、確率的アンサンブルは、ベイズ推論における他の一般的なベースラインよりも正確な事後推定値を提供することが示された。

要約(オリジナル)

We introduce ensembles of stochastic neural networks to approximate the Bayesian posterior, combining stochastic methods such as dropout with deep ensembles. The stochastic ensembles are formulated as families of distributions and trained to approximate the Bayesian posterior with variational inference. We implement stochastic ensembles based on Monte Carlo dropout, DropConnect and a novel non-parametric version of dropout and evaluate them on a toy problem and CIFAR image classification. For both tasks, we test the quality of the posteriors directly against Hamiltonian Monte Carlo simulations. Our results show that stochastic ensembles provide more accurate posterior estimates than other popular baselines for Bayesian inference.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL