Precision and Recall Reject Curves for Classification

要約

一部の分類シナリオでは、トレーニングされたモデルが高い確実性で関連付けた分類インスタンスのみを使用することが望ましい場合があります。
このような確実性の高いインスタンスを取得するために、以前の研究では精度拒否曲線が提案されています。
拒否曲線を使用すると、分類を受け入れるか拒否するためのしきい値の範囲にわたって、さまざまな確実性尺度のパフォーマンスを評価および比較できます。
ただし、精度がすべてのアプリケーションに最適な評価基準であるとは限らず、代わりに精度または再現率の方が好ましい場合があります。
これは、たとえば、クラス分布が不均衡なデータの場合に当てはまります。
そこで、精度と再現率を評価するリジェクト曲線、リコール-リジェクト曲線と精度-リジェクト曲線を提案します。
学習ベクトル量子化からのプロトタイプベースの分類器を使用して、まず、ベースラインとしての精度拒否曲線に対して、人工ベンチマーク データで提案された曲線を検証します。
次に、不均衡なベンチマークと実際の医療データについて、これらのシナリオでは、提案された適合率曲線と再現率曲線の方が、精度拒否曲線よりも分類器のパフォーマンスについてより正確な洞察が得られることを示します。

要約(オリジナル)

For some classification scenarios, it is desirable to use only those classification instances that a trained model associates with a high certainty. To obtain such high-certainty instances, previous work has proposed accuracy-reject curves. Reject curves allow to evaluate and compare the performance of different certainty measures over a range of thresholds for accepting or rejecting classifications. However, the accuracy may not be the most suited evaluation metric for all applications, and instead precision or recall may be preferable. This is the case, for example, for data with imbalanced class distributions. We therefore propose reject curves that evaluate precision and recall, the recall-reject curve and the precision-reject curve. Using prototype-based classifiers from learning vector quantization, we first validate the proposed curves on artificial benchmark data against the accuracy reject curve as a baseline. We then show on imbalanced benchmarks and medical, real-world data that for these scenarios, the proposed precision- and recall-curves yield more accurate insights into classifier performance than accuracy reject curves.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google