PATE: Proximity-Aware Time series anomaly Evaluation

要約

時系列データの異常検出アルゴリズムを評価することは、リアルタイム分析とデータドリブン戦略が不可欠なさまざまな分野で不正確な意思決定につながる可能性があるため、非常に重要です。
従来のパフォーマンス メトリクスは、ID データを前提としており、複雑な時間的ダイナミクスや、早期検出や遅延検出などの時系列異常の特定の特性を捉えることができません。
予測と異常間隔の間の時間的関係を組み込んだ新しい評価指標である、近接認識時系列異常評価 (PATE) を紹介します。
PATE は、異常間隔の周囲のバッファー ゾーンを考慮した近接ベースの重み付けを使用し、より詳細で情報に基づいた検出の評価を可能にします。
これらの重みを使用して、PATE は精度および再現率曲線の下の領域の重み付きバージョンを計算します。
合成データセットと現実世界のデータセットを使用した実験では、他の評価指標よりも賢明で正確な評価を提供するという PATE の優位性が示されています。
また、PATE 評価スキームを使用して、さまざまなベンチマーク データセットにわたっていくつかの最先端の異常検出器をテストしました。
結果は、ポイント調整 F1 スコアのような一般的な指標では検出パフォーマンスを適切に特徴付けることができず、PATE がより公平なモデル比較を提供できることを示しています。
PATE を導入することで、モデルの有効性についての理解を再定義し、より効果的で正確な検出モデルの開発に向けて将来の研究を進めます。

要約(オリジナル)

Evaluating anomaly detection algorithms in time series data is critical as inaccuracies can lead to flawed decision-making in various domains where real-time analytics and data-driven strategies are essential. Traditional performance metrics assume iid data and fail to capture the complex temporal dynamics and specific characteristics of time series anomalies, such as early and delayed detections. We introduce Proximity-Aware Time series anomaly Evaluation (PATE), a novel evaluation metric that incorporates the temporal relationship between prediction and anomaly intervals. PATE uses proximity-based weighting considering buffer zones around anomaly intervals, enabling a more detailed and informed assessment of a detection. Using these weights, PATE computes a weighted version of the area under the Precision and Recall curve. Our experiments with synthetic and real-world datasets show the superiority of PATE in providing more sensible and accurate evaluations than other evaluation metrics. We also tested several state-of-the-art anomaly detectors across various benchmark datasets using the PATE evaluation scheme. The results show that a common metric like Point-Adjusted F1 Score fails to characterize the detection performances well, and that PATE is able to provide a more fair model comparison. By introducing PATE, we redefine the understanding of model efficacy that steers future studies toward developing more effective and accurate detection models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google