On the Convergence of Locally Adaptive and Scalable Diffusion-Based Sampling Methods for Deep Bayesian Neural Network Posteriors

要約

ディープ ニューラル ネットワークで堅牢な不確実性の定量化を達成することは、ニューラル ネットワークの予測の信頼性を評価する必要がある医療画像処理などのディープ ラーニングの現実世界のアプリケーションの多くにおいて重要な要件となります。
ベイジアン ニューラル ネットワークは、ディープ ニューラル ネットワークの不確実性をモデル化するための有望なアプローチです。
残念ながら、ニューラル ネットワークの事後分布からサンプルを生成することは大きな課題です。
この方向における 1 つの重要な進歩は、計算需要を大幅に増加させることなく、現代のニューラル ネットワーク オプティマイザーと同様の適応ステップ サイズをモンテカルロ マルコフ連鎖サンプリング アルゴリズムに組み込むことです。
過去数年にわたって、いくつかの論文がサンプリング アルゴリズムを紹介し、この特性を実現すると主張してきました。
しかし、それらは本当に正しい分布に収束するのでしょうか?
この論文では、これらの方法では、消失ステップ サイズの制限内やフル バッチ サイズでも、サンプリングする分布にかなりの偏りがある可能性があることを示します。

要約(オリジナル)

Achieving robust uncertainty quantification for deep neural networks represents an important requirement in many real-world applications of deep learning such as medical imaging where it is necessary to assess the reliability of a neural network’s prediction. Bayesian neural networks are a promising approach for modeling uncertainties in deep neural networks. Unfortunately, generating samples from the posterior distribution of neural networks is a major challenge. One significant advance in that direction would be the incorporation of adaptive step sizes, similar to modern neural network optimizers, into Monte Carlo Markov chain sampling algorithms without significantly increasing computational demand. Over the past years, several papers have introduced sampling algorithms with claims that they achieve this property. However, do they indeed converge to the correct distribution? In this paper, we demonstrate that these methods can have a substantial bias in the distribution they sample, even in the limit of vanishing step sizes and at full batch size.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google