On the Out-of-Distribution Coverage of Combining Split Conformal Prediction and Bayesian Deep Learning

要約

ベイジアンディープラーニングと等角予測は、機械学習システムにおける不確実性を伝え、安全性を高めるために使用されてきた 2 つの方法です。
私たちは、ベイジアン深層学習と分割等角予測の組み合わせ、およびこの組み合わせが分布外カバレッジにどのような影響を与えるかに焦点を当てています。
特にマルチクラス画像分類の場合。
モデルが一般的にキャリブレーションセットに対して自信を持っていない場合、結果として得られる等角セットは、単純な予測の信頼できるセットと比較して、分布外のカバレッジが悪化する可能性があることを提案します。
逆に、モデルがキャリブレーション セットに対して過信している場合は、等角予測を使用すると分布外のカバレッジが改善される可能性があります。
分割等角法と、(i) 確率的勾配降下法、(ii) ディープアンサンブル、および (iii) 平均場変分推論でトレーニングされたニューラル ネットワークを組み合わせた結果として、予測セットを評価します。
私たちの結果は、ベイジアン深層学習モデルと分割等角予測を組み合わせると、場合によっては、分布外カバレッジの減少などの意図しない結果を引き起こす可能性があることを示唆しています。

要約(オリジナル)

Bayesian deep learning and conformal prediction are two methods that have been used to convey uncertainty and increase safety in machine learning systems. We focus on combining Bayesian deep learning with split conformal prediction and how this combination effects out-of-distribution coverage; particularly in the case of multiclass image classification. We suggest that if the model is generally underconfident on the calibration set, then the resultant conformal sets may exhibit worse out-of-distribution coverage compared to simple predictive credible sets. Conversely, if the model is overconfident on the calibration set, the use of conformal prediction may improve out-of-distribution coverage. We evaluate prediction sets as a result of combining split conformal methods and neural networks trained with (i) stochastic gradient descent, (ii) deep ensembles, and (iii) mean-field variational inference. Our results suggest that combining Bayesian deep learning models with split conformal prediction can, in some cases, cause unintended consequences such as reducing out-of-distribution coverage.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google