PCS-UQ: Uncertainty Quantification via the Predictability-Computability-Stability Framework

要約

機械学習（ML）モデルがハイステークスドメインでますます展開されているため、これらのモデルの安全性と信頼性を確保するためには、信頼できる不確実性の定量化（UQ）が重要です。
従来のUQメソッドは、真の生成モデルの指定に依存しており、誤解に堅牢ではありません。
一方、コンフォーマル推論は任意のMLモデルを許可しますが、モデル選択を考慮していないため、大きな間隔サイズにつながります。
YuとKumbierが提案した真正なデータサイエンスの予測可能性、計算可能性、および安定性（PCS）フレームワークに基づいてUQメソッドを提案することにより、これらの欠点に取り組みます。
具体的には、PCS-UQは予測チェックを使用して不適切なモデルをスクリーニングすることにより、モデルの選択に対処します。
PCS-UQは、これらのスクリーニングされたアルゴリズムに複数のブートストラップに適合し、サンプル間の変動性とアルゴリズムの不安定性を評価し、より信頼性の高い不確実性の推定値を可能にします。
さらに、予測セットの局所適応性を向上させる新しいキャリブレーションスキームを提案します。
17ドルの$ $回帰と6ドルの分類データセットにまたがる実験は、PCS-UQが望ましいカバレッジを達成し、コンフォーマルアプローチよりも幅を約20 \％$削減することを示しています。
さらに、当社のローカル分析によると、PCS-UQはサブグループ全体でターゲットカバレッジを達成することがよくありますが、コンフォーマルメソッドはそうしていません。
大規模な学習モデルの場合、PCS-UQの高価な複数のブートストラップトレーニングを回避する計算効率の高い近似スキームを提案します。
3つのコンピュータービジョンベンチマークで、PCS-UQは、コンフォーマルメソッドの予測セットサイズを20ドル\％$削減します。
理論的には、修正されたPCS-UQアルゴリズムは、分割コンフォーマル推論の形式であり、交換可能なデータで望ましいカバレッジを達成します。

要約(オリジナル)

As machine learning (ML) models are increasingly deployed in high-stakes domains, trustworthy uncertainty quantification (UQ) is critical for ensuring the safety and reliability of these models. Traditional UQ methods rely on specifying a true generative model and are not robust to misspecification. On the other hand, conformal inference allows for arbitrary ML models but does not consider model selection, which leads to large interval sizes. We tackle these drawbacks by proposing a UQ method based on the predictability, computability, and stability (PCS) framework for veridical data science proposed by Yu and Kumbier. Specifically, PCS-UQ addresses model selection by using a prediction check to screen out unsuitable models. PCS-UQ then fits these screened algorithms across multiple bootstraps to assess inter-sample variability and algorithmic instability, enabling more reliable uncertainty estimates. Further, we propose a novel calibration scheme that improves local adaptivity of our prediction sets. Experiments across $17$ regression and $6$ classification datasets show that PCS-UQ achieves the desired coverage and reduces width over conformal approaches by $\approx 20\%$. Further, our local analysis shows PCS-UQ often achieves target coverage across subgroups while conformal methods fail to do so. For large deep-learning models, we propose computationally efficient approximation schemes that avoid the expensive multiple bootstrap trainings of PCS-UQ. Across three computer vision benchmarks, PCS-UQ reduces prediction set size over conformal methods by $20\%$. Theoretically, we show a modified PCS-UQ algorithm is a form of split conformal inference and achieves the desired coverage with exchangeable data.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google