The Tile: A 2D Map of Ranking Scores for Two-Class Classification

要約

コンピューター ビジョンと機械学習のコミュニティだけでなく、他の多くの研究分野でも、分類器を含む新しい手法を厳密に評価することが不可欠です。
評価プロセスの重要な要素の 1 つは、方法を比較してランク付けする機能です。
ただし、特にアプリケーション固有の設定を考慮した場合、分類器をランク付けし、そのパフォーマンスを正確に比較することは依然として困難です。
たとえば、受信者動作特性 (ROC) や精度/再現率 (PR) スペースなどの一般的に使用される評価ツールは、2 つのスコアに基づいてパフォーマンスを表示します。
したがって、より広範囲のスコアにわたって分類子を比較する能力には本質的に限界があり、分類子間の明確なランキングを確立する能力がありません。
この論文では、精度、真陽性率、陽性予測などの一般的な評価スコアを含む、2 クラス分類器の無限のランキング スコアを 1 つの 2D マップに整理する、タイルという名前の新しい多用途ツールを紹介します。
値、ジャカード係数、およびすべての F ベータ スコア。
さらに、事前分布の影響や ROC 空間との対応など、基礎となるランキング スコアの特性を研究し、タイルと比較することで他のスコアを特徴付ける方法を示します。
全体として、タイルが単一の視覚化ですべてのランキングを効果的にキャプチャし、それらを解釈できる強力なツールであることを示しています。

要約(オリジナル)

In the computer vision and machine learning communities, as well as in many other research domains, rigorous evaluation of any new method, including classifiers, is essential. One key component of the evaluation process is the ability to compare and rank methods. However, ranking classifiers and accurately comparing their performances, especially when taking application-specific preferences into account, remains challenging. For instance, commonly used evaluation tools like Receiver Operating Characteristic (ROC) and Precision/Recall (PR) spaces display performances based on two scores. Hence, they are inherently limited in their ability to compare classifiers across a broader range of scores and lack the capability to establish a clear ranking among classifiers. In this paper, we present a novel versatile tool, named the Tile, that organizes an infinity of ranking scores in a single 2D map for two-class classifiers, including common evaluation scores such as the accuracy, the true positive rate, the positive predictive value, Jaccard’s coefficient, and all F-beta scores. Furthermore, we study the properties of the underlying ranking scores, such as the influence of the priors or the correspondences with the ROC space, and depict how to characterize any other score by comparing them to the Tile. Overall, we demonstrate that the Tile is a powerful tool that effectively captures all the rankings in a single visualization and allows interpreting them.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google