Epistemic Uncertainty in Conformal Scores: A Unified Approach

要約

コンフォーマル予測方法は、分布のない保証を持つ予測バンドを作成しますが、認識論的な不確実性を明示的にキャプチャしないため、データスパース領域の自信過剰予測につながる可能性があります。
この制限に対処するために最近のコンフォーマルスコアが開発されていますが、通常、回帰や分位回帰などの特定のタスク向けに設計されています。
さらに、彼らは認識論的な不確実性のために特定のモデリングの選択に依存し、適用性を制限しています。
認識論的不確実性を明示的に統合することにより、任意のコンフォーマルスコアを強化するモデルと存在するアプローチである$ \ texttt {epicscore} $を紹介します。
ガウスプロセス、モンテカルロドロップアウト、またはベイジアンアディティブ回帰ツリーなどのベイジアンテクニックを活用して、$ \ texttt {epicscore} $は、データが豊富なコンパクト間隔を維持しながら、限られたデータのある領域の予測間隔を適応的に拡張します。
他の適合方法と同様に、有限サンプルの限界カバレッジを保持します。
さらに、漸近条件付きカバレッジも実現します。
実験は、既存の方法と比較してその良好なパフォーマンスを示しています。
任意のベイジアンモデルとの互換性のために設計されていますが、流通のない保証を備えた$ \ texttt {epicscore} $は、予測問題の不確実性の定量化のための汎用フレームワークを提供します。

要約(オリジナル)

Conformal prediction methods create prediction bands with distribution-free guarantees but do not explicitly capture epistemic uncertainty, which can lead to overconfident predictions in data-sparse regions. Although recent conformal scores have been developed to address this limitation, they are typically designed for specific tasks, such as regression or quantile regression. Moreover, they rely on particular modeling choices for epistemic uncertainty, restricting their applicability. We introduce $\texttt{EPICSCORE}$, a model-agnostic approach that enhances any conformal score by explicitly integrating epistemic uncertainty. Leveraging Bayesian techniques such as Gaussian Processes, Monte Carlo Dropout, or Bayesian Additive Regression Trees, $\texttt{EPICSCORE}$ adaptively expands predictive intervals in regions with limited data while maintaining compact intervals where data is abundant. As with any conformal method, it preserves finite-sample marginal coverage. Additionally, it also achieves asymptotic conditional coverage. Experiments demonstrate its good performance compared to existing methods. Designed for compatibility with any Bayesian model, but equipped with distribution-free guarantees, $\texttt{EPICSCORE}$ provides a general-purpose framework for uncertainty quantification in prediction problems.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google