Credal Bayesian Deep Learning

要約

不確実性の定量化と分布の変化に対するロバスト性は、機械学習と人工知能の重要な目標です。
ベイジアン ニューラル ネットワーク (BNN) では予測の不確実性を評価できますが、予測の不確実性のさまざまな原因を適切に区別することはできません。
Credal Bayesian Deep Learning (CBDL) を紹介します。
ヒューリスティック的には、CBDL を使用すると、有限個の要素のみを使用して、BNN の (数え切れないほど) 無限のアンサンブルをトレーニングできます。
これは、不正確な確率文献からの概念である、事前かつ尤度に基づいて有限生成された資格セット (FGCS) のおかげで可能です。
直観的には、事前尤度ペアの有限集合の凸組み合わせは、無限に多くのそのようなペアを表すことができます。
トレーニング後、CBDL はニューラル ネットワークのパラメーターに関する一連の事後分布を出力します。
推論時には、このような事後セットを使用して一連の予測分布を導出し、この一連の予測分布を利用して、(予測) 偶然性と認識論的な不確実性を区別し、それらを定量化します。
また、予測セットは、(i) 望ましい確率的保証を享受する出力のコレクション、または (ii) 最良とみなされる単一の出力、つまり、最も高い予測のより低い確率を持つ出力、つまり別の不正確な確率的概念のいずれかを生成します。
CBDL は、単一の BNN よりも、事前の仕様ミスや仕様ミスの可能性、および分布のシフトに対して堅牢です。
CBDL は、単一の BNN や BNN のアンサンブルよりも、さまざまな種類の (予測) 不確実性を定量化し、解きほぐす点で優れていることを示します。
さらに、CBDL を 2 つのケーススタディに適用して、下流タスクの機能を実証します。1 つは自動運転シナリオでの動作予測で、2 つは人工膵臓制御のための血糖とインスリンのダイナミクスをモデル化します。
BNN ベースラインのアンサンブルと比較した場合、CBDL のパフォーマンスが優れていることを示します。

要約(オリジナル)

Uncertainty quantification and robustness to distribution shifts are important goals in machine learning and artificial intelligence. Although Bayesian Neural Networks (BNNs) allow for uncertainty in the predictions to be assessed, different sources of predictive uncertainty cannot be distinguished properly. We present Credal Bayesian Deep Learning (CBDL). Heuristically, CBDL allows to train an (uncountably) infinite ensemble of BNNs, using only finitely many elements. This is possible thanks to prior and likelihood finitely generated credal sets (FGCSs), a concept from the imprecise probability literature. Intuitively, convex combinations of a finite collection of prior-likelihood pairs are able to represent infinitely many such pairs. After training, CBDL outputs a set of posteriors on the parameters of the neural network. At inference time, such posterior set is used to derive a set of predictive distributions that is in turn utilized to distinguish between (predictive) aleatoric and epistemic uncertainties, and to quantify them. The predictive set also produces either (i) a collection of outputs enjoying desirable probabilistic guarantees, or (ii) the single output that is deemed the best, that is, the one having the highest predictive lower probability — another imprecise-probabilistic concept. CBDL is more robust than single BNNs to prior and likelihood misspecification, and to distribution shift. We show that CBDL is better at quantifying and disentangling different types of (predictive) uncertainties than single BNNs and ensemble of BNNs. In addition, we apply CBDL to two case studies to demonstrate its downstream tasks capabilities: one, for motion prediction in autonomous driving scenarios, and two, to model blood glucose and insulin dynamics for artificial pancreas control. We show that CBDL performs better when compared to an ensemble of BNNs baseline.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google