An out-of-distribution discriminator based on Bayesian neural network epistemic uncertainty

要約

ニューラル ネットワークは、予測能力の向上により機械学習の分野に革命をもたらしました。
ニューラル ネットワークの予測を改善することに加えて、ニューラル ネットワークなどの機械学習手法によって行われる推定値の信頼できる不確実性の定量化も同時に求められています。
ベイジアン ニューラル ネットワーク (BNN) は、不確実性を定量化する機能が組み込まれた重要なタイプのニューラル ネットワークです。
この論文では、BNN における偶然的および認識的不確実性と、それらの計算方法について説明します。
画像内のイベントの振幅を特定することが目的である画像データセットの例では、認識論的不確実性は、トレーニング データセットでよく表現されている画像では低くなる傾向があり、トレーニング データセットでよく表現されている画像では高くなる傾向があることが示されています。
十分に表現されていません。
BNN 認識論的不確実性を伴う分布外 (OoD) 検出のアルゴリズムが、BNN の OoD 検出能力に影響を与える要因を実証するさまざまな実験とともに紹介されます。
認識論的不確実性を伴う OoD 検出機能は、同等のネットワーク アーキテクチャを備えた敵対的生成ネットワーク (GAN) の弁別ネットワークにおける OoD 検出に匹敵することが示されています。

要約(オリジナル)

Neural networks have revolutionized the field of machine learning with increased predictive capability. In addition to improving the predictions of neural networks, there is a simultaneous demand for reliable uncertainty quantification on estimates made by machine learning methods such as neural networks. Bayesian neural networks (BNNs) are an important type of neural network with built-in capability for quantifying uncertainty. This paper discusses aleatoric and epistemic uncertainty in BNNs and how they can be calculated. With an example dataset of images where the goal is to identify the amplitude of an event in the image, it is shown that epistemic uncertainty tends to be lower in images which are well-represented in the training dataset and tends to be high in images which are not well-represented. An algorithm for out-of-distribution (OoD) detection with BNN epistemic uncertainty is introduced along with various experiments demonstrating factors influencing the OoD detection capability in a BNN. The OoD detection capability with epistemic uncertainty is shown to be comparable to the OoD detection in the discriminator network of a generative adversarial network (GAN) with comparable network architecture.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google