TimeSeriesBench: An Industrial-Grade Benchmark for Time Series Anomaly Detection Models

要約

時系列異常検知(TSAD)は、現代のソフトウェアシステムの安定性を向上させるために実際に応用されているため、大きな注目を集めている。しかし、実世界への展開に必要な要件を満たせるかどうかを検証する効果的な方法はない。第一に、現在のアルゴリズムは通常、時系列ごとに特定のモデルを訓練する。このような多数のモデルを維持することは、数万本のカーブを持つ大規模システムでは非現実的である。異常を検出するために単に1つの統一されたモデルを使用した場合の性能は未知のままである。第二に、ほとんどのTSADモデルは、時系列の過去の部分で学習され、その将来のセグメントでテストされる。しかし、分散システムでは、システムの展開やアップグレードが頻繁に行われ、以前は見られなかった新しい時系列が毎日出現する。現在のTSADアルゴリズムでは、新しく入ってくる未知の時系列のテストの性能は未知のままである。最後に、既存のベンチマークの評価指標の仮定は、実用的な要求からかけ離れている。上記の問題を解決するために、我々は産業グレードのベンチマークTimeSeriesBenchを提案する。我々は168以上の評価設定にわたって既存のアルゴリズムの性能を評価し、将来の異常検知アルゴリズムの設計のための包括的な分析を提供する。TimeSeriesBenchと共に産業用データセットも公開する。

要約(オリジナル)

Time series anomaly detection (TSAD) has gained significant attention due to its real-world applications to improve the stability of modern software systems. However, there is no effective way to verify whether they can meet the requirements for real-world deployment. Firstly, current algorithms typically train a specific model for each time series. Maintaining such many models is impractical in a large-scale system with tens of thousands of curves. The performance of using merely one unified model to detect anomalies remains unknown. Secondly, most TSAD models are trained on the historical part of a time series and are tested on its future segment. In distributed systems, however, there are frequent system deployments and upgrades, with new, previously unseen time series emerging daily. The performance of testing newly incoming unseen time series on current TSAD algorithms remains unknown. Lastly, the assumptions of the evaluation metrics in existing benchmarks are far from practical demands. To solve the above-mentioned problems, we propose an industrial-grade benchmark TimeSeriesBench. We assess the performance of existing algorithms across more than 168 evaluation settings and provide comprehensive analysis for the future design of anomaly detection algorithms. An industrial dataset is also released along with TimeSeriesBench.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL