LogLG: Weakly Supervised Log Anomaly Detection via Log-Event Graph Construction

要約

タイトル: LogLG: ログイベントグラフ作成による弱い監視されたログ異常検知

要約:

– 完全に監視されていないログデータのアノテーションに非常にコストがかかるため、完全に監視されたログ異常検知方法は重荷が大きい。
– 最近、解析されたテンプレートの支援によりアノテーションコストを削減するために、半教師あり方法が提案されているが、これらの方法は各キーワードを独立して考慮するため、キーワード間の相関関係とログシーケンス間の文脈的関係を無視する。
– この論文では、シーケンスからキーワード間の意味的な接続を探索するため、新しい弱監視されたログ異常検知フレームワーク、LogLGを提案している。
– 具体的には、監視されていないログのキーワードを最初に抽出してログイベントグラフを構築する間、反復プロセスを設計する。
– 次に、擬似ラベルを生成するサブグラフ・アノテータを構築する。アノテーションの品質を改善するために、自己監督課題を採用して、サブグラフ・アノテータをプレトレインする。
– その後、生成された擬似ラベルで検出モデルをトレーニングする。分類結果に基づいて、ログシーケンスからキーワードを再抽出し、次の反復のためにログイベントグラフを更新する。
– 5つのベンチマークでの実験は、LogLGが監視されていないログデータの異常を検出するために効果的であり、既存の方法と比較して、最新の弱監視された方法として、有意義なパフォーマンスの向上を達成することを証明しています。

要約(オリジナル)

Fully supervised log anomaly detection methods suffer the heavy burden of annotating massive unlabeled log data. Recently, many semi-supervised methods have been proposed to reduce annotation costs with the help of parsed templates. However, these methods consider each keyword independently, which disregards the correlation between keywords and the contextual relationships among log sequences. In this paper, we propose a novel weakly supervised log anomaly detection framework, named LogLG, to explore the semantic connections among keywords from sequences. Specifically, we design an end-to-end iterative process, where the keywords of unlabeled logs are first extracted to construct a log-event graph. Then, we build a subgraph annotator to generate pseudo labels for unlabeled log sequences. To ameliorate the annotation quality, we adopt a self-supervised task to pre-train a subgraph annotator. After that, a detection model is trained with the generated pseudo labels. Conditioned on the classification results, we re-extract the keywords from the log sequences and update the log-event graph for the next iteration. Experiments on five benchmarks validate the effectiveness of LogLG for detecting anomalies on unlabeled log data and demonstrate that LogLG, as the state-of-the-art weakly supervised method, achieves significant performance improvements compared to existing methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI