Classifier Calibration: A survey on how to assess and improve predicted class probabilities

要約

このホワイト ペーパーでは、分類器のキャリブレーションの原理と実践について紹介し、詳細な概要を説明します。
適切に調整された分類器は、インスタンスごとの予測に関連する不確実性または信頼性のレベルを正しく定量化します。
これは、重要なアプリケーション、最適な意思決定、コスト重視の分類、およびある種のコンテキスト変更に不可欠です。
キャリブレーション研究には、学問分野としての機械学習の誕生よりも数十年も前の豊かな歴史があります。
ただし、最近のキャリブレーションへの関心の高まりにより、新しい方法とバイナリからマルチクラス設定への拡張が行われています。
考慮すべきオプションと問題のスペースは大きく、それをナビゲートするには、適切な概念とツールのセットが必要です。
主な概念と方法の入門資料と最新の技術的詳細の両方を提供します。これには、適切なスコアリング規則とその他の評価指標、視覚化アプローチ、バイナリおよびマルチクラス分類のための事後キャリブレーション方法の包括的な説明、およびいくつかの高度な方法が含まれます。
トピック。

要約(オリジナル)

This paper provides both an introduction to and a detailed overview of the principles and practice of classifier calibration. A well-calibrated classifier correctly quantifies the level of uncertainty or confidence associated with its instance-wise predictions. This is essential for critical applications, optimal decision making, cost-sensitive classification, and for some types of context change. Calibration research has a rich history which predates the birth of machine learning as an academic field by decades. However, a recent increase in the interest on calibration has led to new methods and the extension from binary to the multiclass setting. The space of options and issues to consider is large, and navigating it requires the right set of concepts and tools. We provide both introductory material and up-to-date technical details of the main concepts and methods, including proper scoring rules and other evaluation metrics, visualisation approaches, a comprehensive account of post-hoc calibration methods for binary and multiclass classification, and several advanced topics.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google