Conformal Prediction and Human Decision Making

要約

任意のモデルからの予測の不確実性を定量化する方法は、医学や金融などのハイステークスドメインで需要があります。
単一の予測値と信頼値の代わりに、特定の平均カバレッジを使用して、一連の予測を生成するための一般的な予測方法として、コンフォーマル予測が浮上しています。
ただし、人間の決定を支援するコンフォーマル予測の価値は、カバレッジ保証と意思決定者の目標と戦略の間の暗い関係のために、とらえどころのないままです。
コンフォーマル予測セットを意思決定支援の一形態としてどのように考える必要がありますか？
予測不確実性を有益なシグナルとして評価するための決定理論的枠組みの概要を説明し、このフレームワーク内でキャリブレーションされた確率の理想化された使用とコンフォーマル予測セットの理想的な使用について対比します。
不確実性の下での以前の経験的結果と人間の決定の理論によって通知され、意思決定者が予測セットを使用する可能性のある一連の戦略を正式にします。
コンフォーマル予測セットとポストホック予測不確実性の定量化が、より広くより広く緊張している方法を特定します。
人間の意思決定者をサポートするために、予測不確実性の定量化に関する将来の研究に関する推奨事項を提供します。

要約(オリジナル)

Methods to quantify uncertainty in predictions from arbitrary models are in demand in high-stakes domains like medicine and finance. Conformal prediction has emerged as a popular method for producing a set of predictions with specified average coverage, in place of a single prediction and confidence value. However, the value of conformal prediction sets to assist human decisions remains elusive due to the murky relationship between coverage guarantees and decision makers’ goals and strategies. How should we think about conformal prediction sets as a form of decision support? We outline a decision theoretic framework for evaluating predictive uncertainty as informative signals, then contrast what can be said within this framework about idealized use of calibrated probabilities versus conformal prediction sets. Informed by prior empirical results and theories of human decisions under uncertainty, we formalize a set of possible strategies by which a decision maker might use a prediction set. We identify ways in which conformal prediction sets and posthoc predictive uncertainty quantification more broadly are in tension with common goals and needs in human-AI decision making. We give recommendations for future research in predictive uncertainty quantification to support human decision makers.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google