A Hitchhiker’s Guide to Understanding Performances of Two-Class Classifiers

要約

分類器の性能を正しく理解することは、様々なシナリオにおいて不可欠である。しかし、多くの文献では、分類器を比較するために1つか2つの標準的なスコアのみに依存しており、アプリケーション固有の要件のニュアンスを捉えることができない。タイルは最近導入された可視化ツールで、無限のランキングスコアを2Dマップに整理します。Tileのおかげで、1組のスコアに依存する代わりに、可能な限りのアプリケーション固有の嗜好を表示し、分類器を効率的に比較することが可能になりました。2クラス分類器の性能を理解するためのこのヒッチハイクガイドでは、理論的な分析者、手法設計者、ベンチマーカー、アプリケーション開発者という、異なるユーザプロファイルを示す4つのシナリオを紹介する。我々は、タイル上に異なる値をマッピングすることで、ユーザのニーズに適応したいくつかの解釈の味を紹介する。このガイドを、4つのシナリオの視点を通して、74の最先端のセマンティックセグメンテーションモデルの性能をランキングし、分析することによって説明する。これらのユーザプロファイルを通して、Tileが無限のランキングスコアに対応しながら、分類器の振る舞いを単一の視覚化で効果的に捉えることを実証する。様々なTileのフレーバーをマッピングするコードは補足資料にある。

要約(オリジナル)

Properly understanding the performances of classifiers is essential in various scenarios. However, the literature often relies only on one or two standard scores to compare classifiers, which fails to capture the nuances of application-specific requirements. The Tile is a recently introduced visualization tool organizing an infinity of ranking scores into a 2D map. Thanks to the Tile, it is now possible to compare classifiers efficiently, displaying all possible application-specific preferences instead of having to rely on a pair of scores. This hitchhiker’s guide to understanding the performances of two-class classifiers presents four scenarios showcasing different user profiles: a theoretical analyst, a method designer, a benchmarker, and an application developer. We introduce several interpretative flavors adapted to the user’s needs by mapping different values on the Tile. We illustrate this guide by ranking and analyzing the performances of 74 state-of-the-art semantic segmentation models through the perspective of the four scenarios. Through these user profiles, we demonstrate that the Tile effectively captures the behavior of classifiers in a single visualization, while accommodating an infinite number of ranking scores. Code for mapping the different Tile flavors is available in supplementary material.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL