On Information-Theoretic Measures of Predictive Uncertainty

要約

予測の不確実性の信頼性の高い推定は、機械学習アプリケーションにとって、特にリスクヘッジが不可欠な一か八かのシナリオにおいて非常に重要です。
その重要性にもかかわらず、予測の不確実性の正しい測定についてのコンセンサスは依然として得られていません。
この研究では、情報理論による予測不確実性測定の基本的な枠組みを開発するために第一原理に戻ります。
私たちが提案するフレームワークは、次の 2 つの要素に従って予測不確実性の尺度を分類します。(I) 予測モデル (II) 真の予測分布の近似。
これら 2 つの要因の考えられるすべての組み合わせを検討し、既知のものと新たに導入されたものの両方を含む一連の予測不確実性尺度を導き出します。
これらの尺度は、誤分類検出、選択的予測、分布外検出などの典型的な不確実性推定設定で経験的に評価されます。
結果は、単一の対策は普遍的ではなく、有効性は特定の設定に依存することを示しています。
したがって、私たちの研究は、暗黙の仮定と関係を明確にすることによって、予測不確実性尺度の適合性を明確にします。

要約(オリジナル)

Reliable estimation of predictive uncertainty is crucial for machine learning applications, particularly in high-stakes scenarios where hedging against risks is essential. Despite its significance, a consensus on the correct measurement of predictive uncertainty remains elusive. In this work, we return to first principles to develop a fundamental framework of information-theoretic predictive uncertainty measures. Our proposed framework categorizes predictive uncertainty measures according to two factors: (I) The predicting model (II) The approximation of the true predictive distribution. Examining all possible combinations of these two factors, we derive a set of predictive uncertainty measures that includes both known and newly introduced ones. We empirically evaluate these measures in typical uncertainty estimation settings, such as misclassification detection, selective prediction, and out-of-distribution detection. The results show that no single measure is universal, but the effectiveness depends on the specific setting. Thus, our work provides clarity about the suitability of predictive uncertainty measures by clarifying their implicit assumptions and relationships.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google