Quantifying Deep Learning Model Uncertainty in Conformal Prediction

要約

ディープ ニューラル ネットワークにおける予測不確実性の正確な推定は、特に医療 AI のコンテキストにおいて、機械学習および統計モデリングにおける信頼性の高い意思決定にとって重要な要件です。
等角予測 (CP) は、個々の予測に対して適切に調整された信頼水準を提供することにより、モデルの不確実性を表現するための有望なフレームワークとして登場しました。
ただし、等角予測におけるモデルの不確実性の定量化は依然として活発な研究領域であり、まだ十分に取り組んでいません。
このペーパーでは、最先端の CP 手法とその理論的基礎について説明します。
我々は、等角予測において生成された予測セットから導出されるモデルの不確実性を定量化する際の確率的アプローチを提案し、計算された不確実性の認定された境界を提供します。
そうすることで、CP によって測定されたモデルの不確実性を、ベイジアン (MC-Dropout や DeepEnsemble など) や証拠アプローチなどの他の不確実性定量化手法によって比較できるようになります。

要約(オリジナル)

Precise estimation of predictive uncertainty in deep neural networks is a critical requirement for reliable decision-making in machine learning and statistical modeling, particularly in the context of medical AI. Conformal Prediction (CP) has emerged as a promising framework for representing the model uncertainty by providing well-calibrated confidence levels for individual predictions. However, the quantification of model uncertainty in conformal prediction remains an active research area, yet to be fully addressed. In this paper, we explore state-of-the-art CP methodologies and their theoretical foundations. We propose a probabilistic approach in quantifying the model uncertainty derived from the produced prediction sets in conformal prediction and provide certified boundaries for the computed uncertainty. By doing so, we allow model uncertainty measured by CP to be compared by other uncertainty quantification methods such as Bayesian (e.g., MC-Dropout and DeepEnsemble) and Evidential approaches.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google