A Radon-Nikodým Perspective on Anomaly Detection: Theory and Implications

要約

効果的な異常検出損失関数の設計を支える原理はどれですか？
答えは、Radon-Nikod \ ‘Ym定理の概念にあります。これは、測定理論の基本的な概念です。
この記事の重要な洞察は、バニラ損失関数をRadon-nikod \ ‘ym誘導体に掛けると、ボード全体のパフォーマンスが向上します。
これをRN-Lossと呼びます。
これは、PACの設定（おそらくほぼ正しい）学習性を使用して証明します。
コンテキストに応じて、radon-nikod \ ‘ym誘導体は異なる形をとります。
監視された異常検出の最も単純なケースでは、Radon-nikod \ ‘ym誘導体は単純な加重損失の形をとります。
監視されていない異常検出の場合（分布の仮定を伴う）、radon-nikod \ ‘ym誘導体は、一般的なクラスターベースのローカル外れ値因子の形をとっています。
ヘルスケア、サイバーセキュリティ、金融を含む多様なドメインからの単変量および多変量データを含む96のデータセットでアルゴリズムを評価します。
RN誘導アルゴリズムは、多変量データセットの68％（F1スコアに基づく）で最先端の方法を上回り、時系列（単変量）データセットの72％でPEAK F1スコアを達成することを示します。

要約(オリジナル)

Which principle underpins the design of an effective anomaly detection loss function? The answer lies in the concept of Radon-Nikod\’ym theorem, a fundamental concept in measure theory. The key insight from this article is: Multiplying the vanilla loss function with the Radon-Nikod\’ym derivative improves the performance across the board. We refer to this as RN-Loss. We prove this using the setting of PAC (Probably Approximately Correct) learnability. Depending on the context a Radon-Nikod\’ym derivative takes different forms. In the simplest case of supervised anomaly detection, Radon-Nikod\’ym derivative takes the form of a simple weighted loss. In the case of unsupervised anomaly detection (with distributional assumptions), Radon-Nikod\’ym derivative takes the form of the popular cluster based local outlier factor. We evaluate our algorithm on 96 datasets, including univariate and multivariate data from diverse domains, including healthcare, cybersecurity, and finance. We show that RN-Derivative algorithms outperform state-of-the-art methods on 68% of Multivariate datasets (based on F1 scores) and also achieves peak F1-scores on 72% of time series (Univariate) datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google