Unsupervised Anomaly Detection with Rejection

要約

異常検出は、データ内の予期しない動作を検出することを目的としています。
異常検出は通常、教師なしタスクであるため、従来の異常検出器は、実際に検証するのが難しい直観に基づくヒューリスティックを採用して決定境界を学習します。
これにより、特に判定境界付近で不確実性が生じ、検出器の予測に対するユーザーの信頼が低下する可能性があります。
これに対処する方法は、検出器が不確実性の高い例を拒否できるようにすることです (拒否の学習)。
これには、決定境界までの距離を捉える信頼度メトリックを採用し、信頼性の低い予測を拒否する拒否しきい値を設定する必要があります。
ただし、ラベルを使用せずに適切なメトリックを選択し、拒否しきい値を設定するのは困難な作業です。
この論文では、ExCeeD によって計算された安定性メトリックに一定の拒否しきい値を設定することで、これらの課題を解決します。
私たちの洞察は、このような指標の理論的分析に基づいています。
さらに、一定のしきい値を設定すると、強力な保証が得られます。つまり、テストの拒否率を推定し、拒否率と予想される予測コストの両方の理論的な上限を導き出します。
実験的に、私たちの方法がいくつかのメトリックベースの方法よりも優れていることを示します。

要約(オリジナル)

Anomaly detection aims at detecting unexpected behaviours in the data. Because anomaly detection is usually an unsupervised task, traditional anomaly detectors learn a decision boundary by employing heuristics based on intuitions, which are hard to verify in practice. This introduces some uncertainty, especially close to the decision boundary, that may reduce the user trust in the detector’s predictions. A way to combat this is by allowing the detector to reject examples with high uncertainty (Learning to Reject). This requires employing a confidence metric that captures the distance to the decision boundary and setting a rejection threshold to reject low-confidence predictions. However, selecting a proper metric and setting the rejection threshold without labels are challenging tasks. In this paper, we solve these challenges by setting a constant rejection threshold on the stability metric computed by ExCeeD. Our insight relies on a theoretical analysis of such a metric. Moreover, setting a constant threshold results in strong guarantees: we estimate the test rejection rate, and derive a theoretical upper bound for both the rejection rate and the expected prediction cost. Experimentally, we show that our method outperforms some metric-based methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google