An Empirical Study on Log-based Anomaly Detection Using Machine Learning

要約

システムの複雑さの増大により、ログベースの異常検出 (LAD) など、さまざまなログ分析タスク専用の自動化技術の必要性が高まっています。
後者については、主にさまざまな深層学習技術を使用して文献で広く取り上げられています。
それにもかかわらず、ディープ ラーニング技術に焦点を当てているため、コンテキストや使用されるデータセットによっては、多くの場合に良好なパフォーマンスを発揮する可能性がある従来の機械学習 (ML) 技術への注目が薄れています。
さらに、さまざまな ML 技術の評価は、ほとんどの場合、その検出精度の評価に基づいています。
ただし、これだけでは、特定の ML 手法が LAD 問題に対処するのに適しているかどうかを判断するには十分ではありません。
考慮すべきその他の側面には、トレーニングと予測の時間、ハイパーパラメーター調整の感度などが含まれます。
この論文では、さまざまな教師ありおよび半教師あり、従来型および深層 ML 手法を評価する包括的な実証研究を紹介します。
4 つの評価基準: 検出精度、時間パフォーマンス、検出精度の感度、およびハイパーパラメーター調整に対する時間パフォーマンス。
実験結果は、教師ありの従来のディープ ML テクニックが、検出精度と予測時間の点で非常に近いパフォーマンスを発揮することを示しています。
さらに、ハイパーパラメータ調整に対するさまざまな ML 手法の検出精度の感度を総合的に評価すると、教師ありの従来の ML 手法は深層学習手法に比べてハイパーパラメータ調整に対する感度が低いことがわかります。
さらに、半教師あり手法では、教師あり手法よりも検出精度が大幅に低下します。

要約(オリジナル)

The growth of systems complexity increases the need of automated techniques dedicated to different log analysis tasks such as Log-based Anomaly Detection (LAD). The latter has been widely addressed in the literature, mostly by means of different deep learning techniques. Nevertheless, the focus on deep learning techniques results in less attention being paid to traditional Machine Learning (ML) techniques, which may perform well in many cases, depending on the context and the used datasets. Further, the evaluation of different ML techniques is mostly based on the assessment of their detection accuracy. However, this is is not enough to decide whether or not a specific ML technique is suitable to address the LAD problem. Other aspects to consider include the training and prediction time as well as the sensitivity to hyperparameter tuning. In this paper, we present a comprehensive empirical study, in which we evaluate different supervised and semi-supervised, traditional and deep ML techniques w.r.t. four evaluation criteria: detection accuracy, time performance, sensitivity of detection accuracy as well as time performance to hyperparameter tuning. The experimental results show that supervised traditional and deep ML techniques perform very closely in terms of their detection accuracy and prediction time. Moreover, the overall evaluation of the sensitivity of the detection accuracy of the different ML techniques to hyperparameter tuning shows that supervised traditional ML techniques are less sensitive to hyperparameter tuning than deep learning techniques. Further, semi-supervised techniques yield significantly worse detection accuracy than supervised techniques.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google