From Uncertainty to Precision: Enhancing Binary Classifier Performance through Calibration

要約

バイナリ分類器のパフォーマンスの評価は、伝統的に精度などの指標を使用した識別能力に重点を置いています。
ただし、これらの指標は、特に金融や医療などのデリケートな意思決定領域を扱う場合、モデルに固有の不確実性を無視することがよくあります。
モデルが予測したスコアは一般にイベントの確率として見られるため、正確な解釈にはキャリブレーションが重要です。
私たちの研究では、さまざまなキャリブレーション測定の感度を分析して歪みをスコア化し、洗練されたメトリクスであるローカル キャリブレーション スコアを導入しました。
再キャリブレーション方法を比較する際、私たちはローカル回帰を支持し、効果的な再キャリブレーション ツールとよりスムーズな視覚化の促進者としての二重の役割を強調します。
これらの発見を、ランダム フォレスト分類子と回帰子を使用して現実世界のシナリオに適用し、クレジット デフォルトを予測しながら、同時にパフォーマンスの最適化中にキャリブレーションを測定します。

要約(オリジナル)

The assessment of binary classifier performance traditionally centers on discriminative ability using metrics, such as accuracy. However, these metrics often disregard the model’s inherent uncertainty, especially when dealing with sensitive decision-making domains, such as finance or healthcare. Given that model-predicted scores are commonly seen as event probabilities, calibration is crucial for accurate interpretation. In our study, we analyze the sensitivity of various calibration measures to score distortions and introduce a refined metric, the Local Calibration Score. Comparing recalibration methods, we advocate for local regressions, emphasizing their dual role as effective recalibration tools and facilitators of smoother visualizations. We apply these findings in a real-world scenario using Random Forest classifier and regressor to predict credit default while simultaneously measuring calibration during performance optimization.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google