Cautious Calibration in Binary Classification

要約

意思決定パイプラインに統合された機械学習システムの信頼性を高めるには、慎重であることが重要です。
校正された確率は最適な意思決定に役立ちますが、完全な校正は依然として達成できないため、推定値は過小信頼と過信の間で変動します。
これは高リスクのシナリオでは重大な問題となり、時折過大評価するだけでも予想されるコストが極端に高くなる可能性があります。
これらのシナリオでは、単に平均バランスを達成するのではなく、各予測確率が不確実性に傾くことが重要です。
この研究では、バイナリ分類における慎重なキャリブレーションという新しい概念を導入します。
このアプローチは、各予測確率について意図的に自信を持たない確率推定値を生成することを目的としています。
私たちは、高リスクのシナリオにおけるこのアプローチの重要性を強調し、慎重なキャリブレーション マップを学習するための理論に基づいた方法を提案します。
実験を通じて、私たちは、もともと慎重なキャリブレーションのために考案されたものではなかったが、この文脈で適用できる方法を含む、私たちの方法をさまざまなアプローチと調査および比較します。
私たちのアプローチは、慎重な見積もりを提供するという点で最も一貫していることを示しています。
私たちの研究は、この新しいフレームワークにおけるさらなる開発のための強力なベースラインを確立します。

要約(オリジナル)

Being cautious is crucial for enhancing the trustworthiness of machine learning systems integrated into decision-making pipelines. Although calibrated probabilities help in optimal decision-making, perfect calibration remains unattainable, leading to estimates that fluctuate between under- and overconfidence. This becomes a critical issue in high-risk scenarios, where even occasional overestimation can lead to extreme expected costs. In these scenarios, it is important for each predicted probability to lean towards underconfidence, rather than just achieving an average balance. In this study, we introduce the novel concept of cautious calibration in binary classification. This approach aims to produce probability estimates that are intentionally underconfident for each predicted probability. We highlight the importance of this approach in a high-risk scenario and propose a theoretically grounded method for learning cautious calibration maps. Through experiments, we explore and compare our method to various approaches, including methods originally not devised for cautious calibration but applicable in this context. We show that our approach is the most consistent in providing cautious estimates. Our work establishes a strong baseline for further developments in this novel framework.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google