Is AUC the best measure for practical comparison of anomaly detectors?

要約

タイトル：異常検知器の実際的比較において、AUCは最良の測定値か？

要約：AUC (受信者操作特性曲線下面積) は異常検出器の比較のための標準的な指標である。AUC の利点は、スカラー値を提供することで自然な順序付けが可能であり、しきい値に依存せず簡単に選択できることである。しかし、本研究では、AUCが異常検出にとって適切な指標であるか、あるいは、実際的な問題に対して不正確な結果を示すことがあるかについて疑問を投げかける。調査の結果、偽陽性率が低い場合の正確性を重視するAUCの変化が、実践者のニーズにより相関することがわかった。ただし、異常なサンプルの代表例がある場合に限定して、異常検出器を比較することができることもわかった。この結果は憂慮すべきものであり、多くの場合、純粋な異常検出ではなく、能動的な学習や少数のサンプルを用いる学習が必要であることを示唆している。

– AUCは異常検出器の比較のための標準的な指標である。
– AUCはスカラー値を提供することで自然な順序付けが可能であり、しきい値に依存せず簡単に選択できることが利点である。
– AUCが異常検出にとって適切な指標であるか疑問を投げかける調査を行った。
– 偽陽性率が低い場合の正確性を重視するAUCの変化が、実践者のニーズにより相関することがわかった。
– 異常なサンプルの代表例がある場合に限定して、異常検出器を比較することができることもわかった。
– 多くの場合、純粋な異常検出ではなく、能動的な学習や少数のサンプルを用いる学習が必要であることを示唆している。

要約(オリジナル)

The area under receiver operating characteristics (AUC) is the standard measure for comparison of anomaly detectors. Its advantage is in providing a scalar number that allows a natural ordering and is independent on a threshold, which allows to postpone the choice. In this work, we question whether AUC is a good metric for anomaly detection, or if it gives a false sense of comfort, due to relying on assumptions which are unlikely to hold in practice. Our investigation shows that variations of AUC emphasizing accuracy at low false positive rate seem to be better correlated with the needs of practitioners, but also that we can compare anomaly detectors only in the case when we have representative examples of anomalous samples. This last result is disturbing, as it suggests that in many cases, we should do active or few-show learning instead of pure anomaly detection.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI