Self-Calibrating Conformal Prediction

要約

機械学習では、信頼性の高い予測を生成し、意思決定をサポートするために不確実性を定量化するために、モデルのキャリブレーションと予測推論が不可欠です。
点予測と区間予測の相補的な役割を認識して、ベン・アーバース校正と等角予測を組み合わせて、これらの予測に条件付きの有限サンプル有効性を備えた予測区間とともに校正された点予測を提供する方法である自己校正型等角予測を導入します。
これを達成するために、元の Venn-Abers 手順を二項分類から回帰に拡張します。
私たちの理論的フレームワークは、モデル予測のキャリブレーションとその後の同じデータに対する条件付きで有効な予測区間の構築を伴う共形予測手法の分析をサポートします。この場合、条件セットまたは適合スコアはキャリブレーションされた予測に依存する可能性があります。
実データの実験では、私たちの方法がモデルのキャリブレーションを通じて間隔効率を向上させ、特徴条件の妥当性に対する実用的な代替手段を提供することを示しています。

要約(オリジナル)

In machine learning, model calibration and predictive inference are essential for producing reliable predictions and quantifying uncertainty to support decision-making. Recognizing the complementary roles of point and interval predictions, we introduce Self-Calibrating Conformal Prediction, a method that combines Venn-Abers calibration and conformal prediction to deliver calibrated point predictions alongside prediction intervals with finite-sample validity conditional on these predictions. To achieve this, we extend the original Venn-Abers procedure from binary classification to regression. Our theoretical framework supports analyzing conformal prediction methods that involve calibrating model predictions and subsequently constructing conditionally valid prediction intervals on the same data, where the conditioning set or conformity scores may depend on the calibrated predictions. Real-data experiments show that our method improves interval efficiency through model calibration and offers a practical alternative to feature-conditional validity.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google