Uncertainty Estimates of Predictions via a General Bias-Variance Decomposition

要約

モデルのライフサイクル全体で予測の不確実性を確実に推定することは、安全性が重要な多くのアプリケーションで非常に重要です。
この不確実性を測定する最も一般的な方法は、予測信頼度によるものです。
これはドメイン内のサンプルではうまく機能する傾向がありますが、これらの推定値はドメイン ドリフトの下では信頼できず、分類に限定されます。
あるいは、ほとんどの予測タスクに適切なスコアを使用できますが、モデルの不確実性に対するバイアス分散分解は現在の文献には存在しません。
この作業では、適切なスコアの一般的なバイアス分散分解を導入し、分散項としてブレグマン情報を生じさせます。
指数族と分類対数尤度がどのように特殊なケースであるかを発見し、新しい定式化を提供します。
驚くべきことに、分類ケースを純粋にロジット空間で表現できます。
モデル アンサンブルや信頼領域など、いくつかのダウンストリーム タスクに対するこの分解の実際的な関連性を紹介します。
さらに、インスタンスレベルのブレグマン情報のさまざまな近似により、あらゆる程度のドメインドリフトに対して信頼性の高い分布外検出がどのように可能になるかを示します。

要約(オリジナル)

Reliably estimating the uncertainty of a prediction throughout the model lifecycle is crucial in many safety-critical applications. The most common way to measure this uncertainty is via the predicted confidence. While this tends to work well for in-domain samples, these estimates are unreliable under domain drift and restricted to classification. Alternatively, proper scores can be used for most predictive tasks but a bias-variance decomposition for model uncertainty does not exist in the current literature. In this work we introduce a general bias-variance decomposition for proper scores, giving rise to the Bregman Information as the variance term. We discover how exponential families and the classification log-likelihood are special cases and provide novel formulations. Surprisingly, we can express the classification case purely in the logit space. We showcase the practical relevance of this decomposition on several downstream tasks, including model ensembles and confidence regions. Further, we demonstrate how different approximations of the instance-level Bregman Information allow reliable out-of-distribution detection for all degrees of domain drift.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google