A Hitchhiker’s Guide to Understanding Performances of Two-Class Classifiers

要約

分類器のパフォーマンスを適切に理解することは、さまざまなシナリオにおいて不可欠です。
ただし、文献では多くの場合、分類器を比較するために 1 つまたは 2 つの標準スコアのみに依存しており、アプリケーション固有の要件の微妙なニュアンスを捉えることができず、最適ではない分類器の選択につながる可能性があります。
最近、パフォーマンスベースのランキング理論の基礎に関する論文で、無数のランキング スコアを 2D マップに編成するタイルと呼ばれるツールが紹介されました。
タイルのおかげで、分類子を効率的に評価および比較できるようになり、スコアのペアに依存する代わりに、考えられるアプリケーション固有の設定をすべて表示できるようになりました。
このペーパーでは、理論分析者、メソッド設計者、ベンチマーカー、アプリケーション開発者という異なるユーザー プロファイルをそれぞれ示す 4 つのシナリオを提示することで、2 クラス分類器のパフォーマンスを理解するための最初のヒッチハイカー ガイドを提供します。
特に、タイル上にさまざまな値をマッピングすることで、ユーザーのニーズに適合するさまざまな解釈フレーバーを提供できることを示します。
一例として、新しく導入されたタイル ツールとさまざまなフレーバーを活用して、4 つのユーザー プロファイルの目を通して 2 クラス分類で 74 の最先端のセマンティック セグメンテーション モデルのパフォーマンスをランク付けし、分析します。
これらのユーザー プロファイルを通じて、タイルが無限のランキング スコアに対応しながら、単一の視覚化で分類子の動作を効果的にキャプチャしていることを示します。

要約(オリジナル)

Properly understanding the performances of classifiers is essential in various scenarios. However, the literature often relies only on one or two standard scores to compare classifiers, which fails to capture the nuances of application-specific requirements, potentially leading to suboptimal classifier selection. Recently, a paper on the foundations of the theory of performance-based ranking introduced a tool, called the Tile, that organizes an infinity of ranking scores into a 2D map. Thanks to the Tile, it is now possible to evaluate and compare classifiers efficiently, displaying all possible application-specific preferences instead of having to rely on a pair of scores. In this paper, we provide a first hitchhiker’s guide for understanding the performances of two-class classifiers by presenting four scenarios, each showcasing a different user profile: a theoretical analyst, a method designer, a benchmarker, and an application developer. Particularly, we show that we can provide different interpretative flavors that are adapted to the user’s needs by mapping different values on the Tile. As an illustration, we leverage the newly introduced Tile tool and the different flavors to rank and analyze the performances of 74 state-of-the-art semantic segmentation models in two-class classification through the eyes of the four user profiles. Through these user profiles, we demonstrate that the Tile effectively captures the behavior of classifiers in a single visualization, while accommodating an infinite number of ranking scores.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google