Effective Confidence Region Prediction Using Probability Forecasters

要約

信頼領域予測は、一般的に研究されているパターン認識問題を拡張した実用的なものです。
単一のラベルを予測する代わりに、制約が緩和され、必要な信頼水準 1-デルタが与えられたラベルのサブセットの予測が可能になります。
理想的には、有効領域予測は、(1) 適切にキャリブレーションされている必要があります。信頼レベル 1-デルタの予測領域は、相対頻度で誤差がデルタ以下である必要があり、(2) 可能な限り狭い (または確実である) 必要があります。
条件付き確率推定 (確率予測) から信頼領域予測を生成する簡単な手法を紹介します。
この「変換」手法を使用して、15 個のマルチクラス データセットでテストしたときに標準的な機械学習アルゴリズムによって出力された確率予測から信頼領域予測を生成します。
私たちの結果は、実験の約 44% が適切に校正された信頼領域予測を示しており、K 最近傍アルゴリズムはすべてのデータにわたって一貫して良好に実行される傾向があることを示しています。
私たちの結果は、医療診断に関して効果的な信頼領域予測の実際的な利点を示しており、真の疾患ラベルを捕捉する保証が与えられます。

要約(オリジナル)

Confidence region prediction is a practically useful extension to the commonly studied pattern recognition problem. Instead of predicting a single label, the constraint is relaxed to allow prediction of a subset of labels given a desired confidence level 1-delta. Ideally, effective region predictions should be (1) well calibrated – predictive regions at confidence level 1-delta should err with relative frequency at most delta and (2) be as narrow (or certain) as possible. We present a simple technique to generate confidence region predictions from conditional probability estimates (probability forecasts). We use this ‘conversion’ technique to generate confidence region predictions from probability forecasts output by standard machine learning algorithms when tested on 15 multi-class datasets. Our results show that approximately 44% of experiments demonstrate well-calibrated confidence region predictions, with the K-Nearest Neighbour algorithm tending to perform consistently well across all data. Our results illustrate the practical benefits of effective confidence region prediction with respect to medical diagnostics, where guarantees of capturing the true disease label can be given.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google