On Local Posterior Structure in Deep Ensembles

要約

ベイジアンニューラルネットワーク（BNN）は、最大A-Posteriori（MAP）などの点推定量と比較して、モデルのキャリブレーションと予測不確実性の定量化を改善することがよくあります。
同様に、ディープアンサンブル（DES）はキャリブレーションを改善することも知られているため、BNNS（DE-BNNS）の深いアンサンブルがさらに改善されるべきであると仮定するのは自然です。
この作業では、多くのデータセット、ニューラルネットワークアーキテクチャ、およびBNN近似方法でこれを体系的に調査し、驚くべきことに、アンサンブルが十分に大きく成長すると、DESが分布内データでDE-BNNを一貫して上回ることがわかります。
この観察に光を当てるために、いくつかの感度とアブレーション研究を実施します。
さらに、DE-BNNSは分散型排出メトリックでDESを上回っているにもかかわらず、これは分配内のパフォーマンスの低下を犠牲にしてもたらされることを示しています。
最終的な貢献として、このトピックに関するさらなる研究を促進するために、訓練されたモデルの大きなプールをオープンソーシングします。

要約(オリジナル)

Bayesian Neural Networks (BNNs) often improve model calibration and predictive uncertainty quantification compared to point estimators such as maximum-a-posteriori (MAP). Similarly, deep ensembles (DEs) are also known to improve calibration, and therefore, it is natural to hypothesize that deep ensembles of BNNs (DE-BNNs) should provide even further improvements. In this work, we systematically investigate this across a number of datasets, neural network architectures, and BNN approximation methods and surprisingly find that when the ensembles grow large enough, DEs consistently outperform DE-BNNs on in-distribution data. To shine light on this observation, we conduct several sensitivity and ablation studies. Moreover, we show that even though DE-BNNs outperform DEs on out-of-distribution metrics, this comes at the cost of decreased in-distribution performance. As a final contribution, we open-source the large pool of trained models to facilitate further research on this topic.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google