Uncertainty Quantification with Proper Scoring Rules: Adjusting Measures to Prediction Tasks

要約

不確実性の定量化の問題に対処し、（厳密に）適切なスコアリングルールの既知の分解、特定のタイプの損失関数、発散およびエントロピーコンポーネントへの既知の分解に基づいて、合計、aleatoric、および認識論の測定値を提案します。
これにより、不確実性の定量化のための柔軟なフレームワークにつながり、異なる損失（スコアリングルール）でインスタンス化できるため、不確実性の定量化を手元のユースケースに合わせて調整できます。
この柔軟性が実際に有利であることを示します。
特に、選択的予測のタスクを分析し、スコアリングルールがタスクの損失と理想的に一致するはずであることを示します。
さらに、他の2つの一般的なタスクで実験を実行します。
分配不足の検出のために、我々の結果は、認識論の不確実性である相互情報の広く使用されている尺度が最も効果的であることを確認しています。
さらに、積極的な学習の設定において、ゼロ1ロスに基づいた認識論的不確実性の尺度は、他の不確実性測定を一貫して上回ります。

要約(オリジナル)

We address the problem of uncertainty quantification and propose measures of total, aleatoric, and epistemic uncertainty based on a known decomposition of (strictly) proper scoring rules, a specific type of loss function, into a divergence and an entropy component. This leads to a flexible framework for uncertainty quantification that can be instantiated with different losses (scoring rules), which makes it possible to tailor uncertainty quantification to the use case at hand. We show that this flexibility is indeed advantageous. In particular, we analyze the task of selective prediction and show that the scoring rule should ideally match the task loss. In addition, we perform experiments on two other common tasks. For out-of-distribution detection, our results confirm that a widely used measure of epistemic uncertainty, mutual information, performs best. Moreover, in the setting of active learning, our measure of epistemic uncertainty based on the zero-one-loss consistently outperforms other uncertainty measures.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google