Heterogeneous Anomaly Detection for Software Systems via Semi-supervised Cross-modal Attention

要約

ソフトウェアシステムの信頼性を確保するためには、システムの異常を迅速かつ正確に検出することが不可欠です。
利用可能なすべての実行時情報を利用する手作業とは異なり、既存のアプローチは通常、単一タイプの監視データ (多くの場合ログまたはメトリック) のみを利用するか、異なるタイプのデータ間の共同情報を効果的に使用できません。
その結果、多くの誤った予測が発生します。
システムの異常の兆候をよりよく理解するために、大量の異種データ、つまりログとメトリクスについて体系的な研究を行います。
私たちの研究は、ログとメトリクスが協調的かつ補完的にシステムの異常を明示できることを示しており、それらだけでは十分ではありません。
したがって、異種データを統合すると、システムの正常性状態の全体像を回復するのに役立ちます。
これに関連して、異種データに基づいてシステムの異常を効果的に特定するための最初のエンドツーエンドの半教師ありアプローチである Hades を提案します。
私たちのアプローチは、ログのセマンティクスとメトリック パターンを融合することにより、システム ステータスのグローバルな表現を学習する階層アーキテクチャを採用しています。
半教師あり方法でトレーニングされたクロスモーダル注意モジュールを介して、異種データから識別機能と意味のある相互作用をキャプチャします。
Hades は、大規模なシミュレートされたデータと Huawei Cloud からのデータセットで広範囲に評価されます。
実験結果は、システム異常の検出におけるモデルの有効性を示しています。
また、複製と将来の研究のために、コードと注釈付きデータセットをリリースします。

要約(オリジナル)

Prompt and accurate detection of system anomalies is essential to ensure the reliability of software systems. Unlike manual efforts that exploit all available run-time information, existing approaches usually leverage only a single type of monitoring data (often logs or metrics) or fail to make effective use of the joint information among different types of data. Consequently, many false predictions occur. To better understand the manifestations of system anomalies, we conduct a systematical study on a large amount of heterogeneous data, i.e., logs and metrics. Our study demonstrates that logs and metrics can manifest system anomalies collaboratively and complementarily, and neither of them only is sufficient. Thus, integrating heterogeneous data can help recover the complete picture of a system’s health status. In this context, we propose Hades, the first end-to-end semi-supervised approach to effectively identify system anomalies based on heterogeneous data. Our approach employs a hierarchical architecture to learn a global representation of the system status by fusing log semantics and metric patterns. It captures discriminative features and meaningful interactions from heterogeneous data via a cross-modal attention module, trained in a semi-supervised manner. We evaluate Hades extensively on large-scale simulated data and datasets from Huawei Cloud. The experimental results present the effectiveness of our model in detecting system anomalies. We also release the code and the annotated dataset for replication and future research.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google