Prayatul Matrix: A Direct Comparison Approach to Evaluate Performance of Supervised Machine Learning Models

要約

教師あり機械学習 (ML) モデルのパフォーマンス比較は、テスト データセットで取得されたさまざまな混同行列ベースのスコアに関して広く行われています。
ただし、データセットには、難易度の異なる複数のインスタンスが含まれます。
したがって、データセット全体で得られたスコアを比較するのではなく、個々のインスタンスで ML モデルの有効性を比較する方がより論理的です。
このホワイト ペーパーでは、データセット内の個々のインスタンスに関して、教師あり ML モデルを直接比較するための代替アプローチが提案されています。
\emph{Prayatul Matrix} と呼ばれる直接比較行列が導入されました。これは、データセットの異なるインスタンスでの 2 つの ML アルゴリズムの比較結果を説明します。
5 つの異なるパフォーマンス指標は、プラヤトゥル マトリックスに基づいて設計されています。
提案されたアプローチと設計された対策の有効性は、3 つのデータセットに対する 4 つの分類手法で分析されます。
また、ResNet50V2、MobileNetV2、EfficientNet、および XceptionNet という 4 つのディープ ラーニング モデルを使用して、4 つの大規模で複雑な画像データセットを分析しました。
結果は、新しく設計された尺度が、精度、精度、再現率などの既存の混同行列ベースのスコアでは不可能だった比較 ML アルゴリズムについてより多くの洞察を与えることができることは明らかです。

要約(オリジナル)

Performance comparison of supervised machine learning (ML) models are widely done in terms of different confusion matrix based scores obtained on test datasets. However, a dataset comprises several instances having different difficulty levels. Therefore, it is more logical to compare effectiveness of ML models on individual instances instead of comparing scores obtained for the entire dataset. In this paper, an alternative approach is proposed for direct comparison of supervised ML models in terms of individual instances within the dataset. A direct comparison matrix called \emph{Prayatul Matrix} is introduced, which accounts for comparative outcome of two ML algorithms on different instances of a dataset. Five different performance measures are designed based on prayatul matrix. Efficacy of the proposed approach as well as designed measures is analyzed with four classification techniques on three datasets. Also analyzed on four large-scale complex image datasets with four deep learning models namely ResNet50V2, MobileNetV2, EfficientNet, and XceptionNet. Results are evident that the newly designed measure are capable of giving more insight about the comparing ML algorithms, which were impossible with existing confusion matrix based scores like accuracy, precision and recall.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google