Is $F_1$ Score Suboptimal for Cybersecurity Models? Introducing $C_{score}$, a Cost-Aware Alternative for Model Assessment

要約

機械学習分類器に関連するエラー、つまり偽陽性と偽陰性のコストは等しくなく、アプリケーションに依存します。
たとえば、サイバーセキュリティ アプリケーションでは、攻撃を検出しないことによるコストは、無害なアクティビティを攻撃としてマークすることとは大きく異なります。
ハイパーパラメーターの調整やモデルの選択など、機械学習モデルの構築中のさまざまな設計の選択により、データ サイエンティストはこれら 2 つのエラーの間でトレードオフを行うことができます。
ただし、モデルの精度と再現率の観点から定義される $F_1$ スコアなど、モデルの品質を評価するために一般的に使用されるメトリクスのほとんどは、これらのエラーの両方を同等に扱うため、ユーザーがこれらの実際のコストを最適化することが困難になります。
エラー。
この論文では、モデルの評価と選択のために $F_1$ スコアを置き換えることができる、精度と再現率に基づく新しいコスト認識指標 $C_{score}$ を提案します。
これには、偽陽性と偽陰性の処理にかかるコストの違いを考慮したコスト比率が含まれます。
新しいコスト指標を導出して特徴付け、それを $F_1$ スコアと比較します。
さらに、このメトリクスを、複数のコスト比の 5 つのサイバーセキュリティ関連データセットのモデルのしきい値処理に使用します。
結果は、平均 49% のコスト削減を示しています。

要約(オリジナル)

The cost of errors related to machine learning classifiers, namely, false positives and false negatives, are not equal and are application dependent. For example, in cybersecurity applications, the cost of not detecting an attack is very different from marking a benign activity as an attack. Various design choices during machine learning model building, such as hyperparameter tuning and model selection, allow a data scientist to trade-off between these two errors. However, most of the commonly used metrics to evaluate model quality, such as $F_1$ score, which is defined in terms of model precision and recall, treat both these errors equally, making it difficult for users to optimize for the actual cost of these errors. In this paper, we propose a new cost-aware metric, $C_{score}$ based on precision and recall that can replace $F_1$ score for model evaluation and selection. It includes a cost ratio that takes into account the differing costs of handling false positives and false negatives. We derive and characterize the new cost metric, and compare it to $F_1$ score. Further, we use this metric for model thresholding for five cybersecurity related datasets for multiple cost ratios. The results show an average cost savings of 49%.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google