Semi-supervised learning via DQN for log anomaly detection

要約

ログ異常検出は、最新のソフトウェア システムのセキュリティとメンテナンスにおける重要なコンポーネントであり、システムの監視、運用、トラブルシューティングの重要なサポートと基盤として機能します。
これは、運用担当者が問題をタイムリーに特定して解決するのに役立ちます。
しかし、ログ異常検出の現在の方法は、ラベルのないデータの活用不足、正常クラスと異常クラスのデータの不均衡、偽陽性と偽陰性の割合が高いなどの課題に依然として直面しており、異常認識の有効性が不十分につながっています。
この研究では、深層強化学習を統合して、少量のラベル付きデータと大規模なラベルなしデータを活用して異常検出パフォーマンスを向上させる、DQNLog と呼ばれる半教師ありログ異常検出手法を提案します。
不均衡なデータと不十分なラベル付けの問題に対処するために、多数派クラスを優先するのではなく、意味的に類似した異常を捕捉することを目的として、コサイン類似性に基づいて異常に偏った状態遷移関数を設計します。
異常を学習するモデルの能力を強化するために、モデルがラベル付きの異常を利用し、ラベルのない異常を探索することを促進する共同報酬関数を考案し、それによって偽陽性と偽陰性を削減します。
さらに、推定ミスによってモデルが通常の軌道から逸脱するのを防ぐために、損失関数に正則化項を導入して、更新中にモデルが事前の知識を確実に保持できるようにします。
広く使用されている 3 つのデータセットで DQNLog を評価し、大規模なラベルなしデータを効果的に利用し、すべての実験データセットにわたって有望な結果を達成する能力を実証します。

要約(オリジナル)

Log anomaly detection is a critical component in modern software system security and maintenance, serving as a crucial support and basis for system monitoring, operation, and troubleshooting. It aids operations personnel in timely identification and resolution of issues. However, current methods in log anomaly detection still face challenges such as underutilization of unlabeled data, imbalance between normal and anomaly class data, and high rates of false positives and false negatives, leading to insufficient effectiveness in anomaly recognition. In this study, we propose a semi-supervised log anomaly detection method named DQNLog, which integrates deep reinforcement learning to enhance anomaly detection performance by leveraging a small amount of labeled data and large-scale unlabeled data. To address issues of imbalanced data and insufficient labeling, we design a state transition function biased towards anomalies based on cosine similarity, aiming to capture semantic-similar anomalies rather than favoring the majority class. To enhance the model’s capability in learning anomalies, we devise a joint reward function that encourages the model to utilize labeled anomalies and explore unlabeled anomalies, thereby reducing false positives and false negatives. Additionally, to prevent the model from deviating from normal trajectories due to misestimation, we introduce a regularization term in the loss function to ensure the model retains prior knowledge during updates. We evaluate DQNLog on three widely used datasets, demonstrating its ability to effectively utilize large-scale unlabeled data and achieve promising results across all experimental datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google