Decision-Focused Uncertainty Quantification

要約

下流の最適化問題で予測がどのように使用されるかを考慮してモデルをトレーニングする「意思決定重視」の機械学習手法への関心が高まっています。
そうすることで、その後の意思決定問題のパフォーマンスが向上することがよくあります。
しかし、不確実性を定量化するための現在の方法には、下流の決定に関する情報がまったく組み込まれていません。
私たちは、等角予測に基づいたフレームワークを開発して、下流の意思決定損失関数を考慮した予測セットを生成し、一か八かの意思決定を知らせるのにより適切なものにします。
私たちのアプローチは、下流の決定とユーザー指定のユーティリティ関数を組み込みながら、等角手法の強みであるモジュール性、モデル不可知主義、統計的カバレッジ保証を活用します。
私たちのメソッドが標準的なカバレッジ保証を保持していることを証明します。
さまざまなデータセットとユーティリティメトリクスにわたる経験的評価により、私たちの方法が標準的な等角法と比較して大幅に低い決定損失を達成することが実証されています。
さらに、私たちの方法が皮膚科疾患の階層構造を効果的に組み込んでいる、医療診断における実際の使用例を紹介します。
これは、一貫した診断上の意味を持つセットを生成することに成功し、皮膚科診断中のトリアージ プロセスを支援し、私たちの方法が外部領域の知識に基づいて一か八かの意思決定をどのように根拠づけることができるかを示しています。

要約(オリジナル)

There is increasing interest in ”decision-focused” machine learning methods which train models to account for how their predictions are used in downstream optimization problems. Doing so can often improve performance on subsequent decision problems. However, current methods for uncertainty quantification do not incorporate any information at all about downstream decisions. We develop a framework based on conformal prediction to produce prediction sets that account for a downstream decision loss function, making them more appropriate to inform high-stakes decision-making. Our approach harnesses the strengths of conformal methods–modularity, model-agnosticism, and statistical coverage guarantees–while incorporating downstream decisions and user-specified utility functions. We prove that our methods retain standard coverage guarantees. Empirical evaluation across a range of datasets and utility metrics demonstrates that our methods achieve significantly lower decision loss compared to standard conformal methods. Additionally, we present a real-world use case in healthcare diagnosis, where our method effectively incorporates the hierarchical structure of dermatological diseases. It successfully generates sets with coherent diagnostic meaning, aiding the triage process during dermatology diagnosis and illustrating how our method can ground high-stakes decision-making on external domain knowledge.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google