Cross-Validation Conformal Risk Control

要約

コンフォーマル リスク コントロール (CRC) は、従来の点予測器に事後的に適用して校正保証を提供する、最近提案された手法です。
等角予測 (CP) を一般化すると、CRC を使用して、誤検出の確率や偽陰性率などのリスク関数を制御するために点予測子から抽出されたセット予測子のキャリブレーションが保証されます。
元の CRC では、使用可能なデータ セットをトレーニング データ セットと検証データ セットに分割する必要があります。
データの可用性が制限されている場合、これは問題となる可能性があり、非効率的なセット予測子が生成されます。
このペーパーでは、元の CRC としての検証ではなく、相互検証に基づく新しい CRC 方法を紹介します。
提案された相互検証 CRC (CV-CRC) は、ジャックナイフ minmax のバージョンを CP から CRC に拡張し、より広範囲のリスク関数の制御を可能にします。
CV-CRC は、設定された予測子の平均リスクに対する理論的な保証を提供することが証明されています。
さらに、数値実験により、利用可能なデータが限られている場合、CV-CRC は CRC に関する平均セット サイズを削減できることが示されています。

要約(オリジナル)

Conformal risk control (CRC) is a recently proposed technique that applies post-hoc to a conventional point predictor to provide calibration guarantees. Generalizing conformal prediction (CP), with CRC, calibration is ensured for a set predictor that is extracted from the point predictor to control a risk function such as the probability of miscoverage or the false negative rate. The original CRC requires the available data set to be split between training and validation data sets. This can be problematic when data availability is limited, resulting in inefficient set predictors. In this paper, a novel CRC method is introduced that is based on cross-validation, rather than on validation as the original CRC. The proposed cross-validation CRC (CV-CRC) extends a version of the jackknife-minmax from CP to CRC, allowing for the control of a broader range of risk functions. CV-CRC is proved to offer theoretical guarantees on the average risk of the set predictor. Furthermore, numerical experiments show that CV-CRC can reduce the average set size with respect to CRC when the available data are limited.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google