Decision Theoretic Foundations for Conformal Prediction: Optimal Uncertainty Quantification for Risk-Averse Agents

要約

データ駆動型の意思決定における基本的な問題は、下流の行動に有益な情報を提供できるような方法で、予測の不確実性をどのように定量化するかということである。予測の不確実性と意思決定との間のこのインターフェースは、医療のようなリスクに敏感な領域において特に重要である。本論文では、予測セットを用いた不確実性の定量化とリスク回避的意思決定を結びつける意思決定理論的基礎を構築する。具体的には、以下の3つの基本的な問いに答える。(1) リスク回避的な意思決定者にとって、不確実性定量化の正しい概念とは何か？リスク回避的な意思決定者にとって、不確実性定量化とはどのような概念なのか？(2)リスクを回避する意思決定者が予測セットを行動に対応付けるために用いるべき最適な政策は何か？リスク回避的な意思決定者にとって、単純な最大最小の決定方針が最適であることを示す。最後に、(3)このような意思決定者にとって最適な予測集合はどのようにして導けるのか？我々は、母集団領域における厳密な特徴づけと、分布のない有限標本の構築を提供する。これらの問いに答えることで、予測から行動方針を導き出すための証明可能な最適設計に従ったアルゴリズム、Risk-Averse Calibration (RAC)が自然に導かれる。RACは、実用的-下流の効用を向上させるためにブラックボックス的に予測の品質を活用できる-であると同時に、安全-ユーザ定義のリスク閾値を遵守し、ユーザの下流の効用の対応するリスク分位数を最適化する-であるように設計されている。最後に、医療診断や推薦システムなどのアプリケーションにおいて、RACの大きな利点を実験的に実証する。具体的には、RACが安全性と実用性のトレードオフを大幅に改善し、安全性の保証を維持しながら、既存の手法と比較してより高い実用性を提供することを示す。

要約(オリジナル)

A fundamental question in data-driven decision making is how to quantify the uncertainty of predictions in ways that can usefully inform downstream action. This interface between prediction uncertainty and decision-making is especially important in risk-sensitive domains, such as medicine. In this paper, we develop decision-theoretic foundations that connect uncertainty quantification using prediction sets with risk-averse decision-making. Specifically, we answer three fundamental questions: (1) What is the correct notion of uncertainty quantification for risk-averse decision makers? We prove that prediction sets are optimal for decision makers who wish to optimize their value at risk. (2) What is the optimal policy that a risk averse decision maker should use to map prediction sets to actions? We show that a simple max-min decision policy is optimal for risk-averse decision makers. Finally, (3) How can we derive prediction sets that are optimal for such decision makers? We provide an exact characterization in the population regime and a distribution free finite-sample construction. Answering these questions naturally leads to an algorithm, Risk-Averse Calibration (RAC), which follows a provably optimal design for deriving action policies from predictions. RAC is designed to be both practical-capable of leveraging the quality of predictions in a black-box manner to enhance downstream utility-and safe-adhering to a user-defined risk threshold and optimizing the corresponding risk quantile of the user’s downstream utility. Finally, we experimentally demonstrate the significant advantages of RAC in applications such as medical diagnosis and recommendation systems. Specifically, we show that RAC achieves a substantially improved trade-off between safety and utility, offering higher utility compared to existing methods while maintaining the safety guarantee.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL