DeepHYDRA: Resource-Efficient Time-Series Anomaly Detection in Dynamically-Configured Systems

要約

ハイ パフォーマンス コンピューティング (HPC) クラスターなどの分散システムにおける異常検出は、障害の早期検出、パフォーマンスの最適化、セキュリティの監視、一般的な信頼性だけでなく、運用上の洞察にも不可欠です。
ディープ ニューラル ネットワークは、産業システムや医療システム、天気予報などに由来する多次元データの長期異常を検出する際に使用され、成功を収めています。
このような方法の欠点は、静的な入力サイズが必要であること、またはトリミング、サンプリング、またはその他の次元削減方法によってデータが失われるため、コンピューティング クラスターなど、監視対象のデータ チャネルに変動があるシステムへの展開が困難になることです。
これらの問題に対処するために、DBSCAN と学習ベースの異常検出を組み合わせた DeepHYDRA (Deep Hybrid DBSCAN/Reduction-Based Anomaly Detection) を紹介します。
DBSCAN クラスタリングは、時系列データ内の点異常を検出するために使用され、入力データを固定数のチャネルに減らす際の情報損失による外れ値の損失のリスクを軽減します。
次に、長期的な外れ値を特定するために、削減されたデータに深層学習ベースの時系列異常検出手法が適用されます。
このハイブリッド アプローチにより、削減プロセスによって通常のデータと区別できなくなる可能性のある異常が見逃される可能性が低減され、同様にアルゴリズムの拡張性が可能になり、検出機能を維持しながら部分的なシステム障害に耐えることができます。
有名な SMD データセット ファミリのサブセット、Eclipse データセットの修正版、およびこの研究で公開された、アクティブなデータ チャネルの変動が大きい社内データセットを使用して、計算強度をさらに分析します。
メモリ使用量とアクティベーション数。
DeepHYDRA は、大規模かつ複雑なデータセットの両方でさまざまなタイプの異常を確実に検出することが示されています。

要約(オリジナル)

Anomaly detection in distributed systems such as High-Performance Computing (HPC) clusters is vital for early fault detection, performance optimisation, security monitoring, reliability in general but also operational insights. Deep Neural Networks have seen successful use in detecting long-term anomalies in multidimensional data, originating for instance from industrial or medical systems, or weather prediction. A downside of such methods is that they require a static input size, or lose data through cropping, sampling, or other dimensionality reduction methods, making deployment on systems with variability on monitored data channels, such as computing clusters difficult. To address these problems, we present DeepHYDRA (Deep Hybrid DBSCAN/Reduction-Based Anomaly Detection) which combines DBSCAN and learning-based anomaly detection. DBSCAN clustering is used to find point anomalies in time-series data, mitigating the risk of missing outliers through loss of information when reducing input data to a fixed number of channels. A deep learning-based time-series anomaly detection method is then applied to the reduced data in order to identify long-term outliers. This hybrid approach reduces the chances of missing anomalies that might be made indistinguishable from normal data by the reduction process, and likewise enables the algorithm to be scalable and tolerate partial system failures while retaining its detection capabilities. Using a subset of the well-known SMD dataset family, a modified variant of the Eclipse dataset, as well as an in-house dataset with a large variability in active data channels, made publicly available with this work, we furthermore analyse computational intensity, memory footprint, and activation counts. DeepHYDRA is shown to reliably detect different types of anomalies in both large and complex datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google