Adaptive Conformal Prediction by Reweighting Nonconformity Score

要約

魅力的な理論上の保証と実用的な成功にもかかわらず、Conformal Prediction (CP) によって与えられる予測間隔 (PI) は、特定のモデルの不確実性を反映していない場合があります。
この制限は、カバレッジ プロパティを確保するために、個々の不確実性を無視して、すべてのテスト ポイントに対して一定の補正を使用する CP メソッドから生じます。
この問題に対処するために、分位回帰フォレスト (QRF) を使用して不適合スコアの分布を学習し、QRF の重みを利用して、テスト ポイントに類似した残差を持つサンプルにより多くの重要性を割り当てることを提案します。
このアプローチにより、モデルの不確実性とより一致する PI の長さが得られます。
さらに、QRF によって学習された重みは特徴空間の分割を提供し、より効率的な計算を可能にし、グループごとの等角化を通じて PI の適応性を向上させます。
私たちのアプローチは、仮定のない有限サンプル限界およびトレーニング条件付きカバレッジを享受し、適切な仮定の下で、条件付きカバレッジも保証します。
私たちの方法は、あらゆる不適合スコアに対して機能し、Python パッケージとして利用できます。
既存の方法と比較して大幅な改善を示すシミュレートされた実世界のデータで実験を行います。

要約(オリジナル)

Despite attractive theoretical guarantees and practical successes, Predictive Interval (PI) given by Conformal Prediction (CP) may not reflect the uncertainty of a given model. This limitation arises from CP methods using a constant correction for all test points, disregarding their individual uncertainties, to ensure coverage properties. To address this issue, we propose using a Quantile Regression Forest (QRF) to learn the distribution of nonconformity scores and utilizing the QRF’s weights to assign more importance to samples with residuals similar to the test point. This approach results in PI lengths that are more aligned with the model’s uncertainty. In addition, the weights learnt by the QRF provide a partition of the features space, allowing for more efficient computations and improved adaptiveness of the PI through groupwise conformalization. Our approach enjoys an assumption-free finite sample marginal and training-conditional coverage, and under suitable assumptions, it also ensures conditional coverage. Our methods work for any nonconformity score and are available as a Python package. We conduct experiments on simulated and real-world data that demonstrate significant improvements compared to existing methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google