Adaptive Conformal Prediction by Reweighting Nonconformity Score

要約

魅力的な理論的保証と実際的な成功にもかかわらず、等角予測 (CP) によって与えられる予測区間 (PI) は、特定のモデルの不確実性を反映していない可能性があります。
この制限は、カバレッジ特性を確保するために、個々の不確実性を無視して、すべてのテスト ポイントに対して一定の補正を使用する CP メソッドから生じます。
この問題に対処するために、分位回帰フォレスト (QRF) を使用して不適合スコアの分布を学習し、QRF の重みを利用してテスト ポイントに類似した残差を持つサンプルにより多くの重要性を割り当てることを提案します。
このアプローチにより、モデルの不確実性とより一致した PI 長が得られます。
さらに、QRF によって学習された重みは特徴空間の分割を提供し、より効率的な計算と、グループごとの等形化による PI の適応性の向上を可能にします。
私たちのアプローチは、仮定のない有限サンプルの限界カバレッジとトレーニング条件付きカバレッジを享受し、適切な仮定の下では、条件付きカバレッジも保証します。
私たちのメソッドはあらゆる不適合スコアに対して機能し、Python パッケージとして利用できます。
私たちはシミュレーションデータと現実世界のデータを使って実験を行い、既存の方法と比較して大幅な改善を実証します。

要約(オリジナル)

Despite attractive theoretical guarantees and practical successes, Predictive Interval (PI) given by Conformal Prediction (CP) may not reflect the uncertainty of a given model. This limitation arises from CP methods using a constant correction for all test points, disregarding their individual uncertainties, to ensure coverage properties. To address this issue, we propose using a Quantile Regression Forest (QRF) to learn the distribution of nonconformity scores and utilizing the QRF’s weights to assign more importance to samples with residuals similar to the test point. This approach results in PI lengths that are more aligned with the model’s uncertainty. In addition, the weights learnt by the QRF provide a partition of the features space, allowing for more efficient computations and improved adaptiveness of the PI through groupwise conformalization. Our approach enjoys an assumption-free finite sample marginal and training-conditional coverage, and under suitable assumptions, it also ensures conditional coverage. Our methods work for any nonconformity score and are available as a Python package. We conduct experiments on simulated and real-world data that demonstrate significant improvements compared to existing methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google