LogLLM: Log-based Anomaly Detection Using Large Language Models

要約

ソフトウェアシステムは、多くの場合、ログに重要なランタイム情報を記録して、トラブルシューティングを支援します。
ログベースの異常検出は、ログデータを通じてシステムの問題を特定し、最終的にソフトウェアシステムの信頼性を高めることを目的とする重要な研究分野になりました。
従来の深い学習方法は、通常、自然言語で編成されるログデータに組み込まれたセマンティック情報をキャプチャするのに苦労しています。
この論文では、大規模な言語モデル（LLM）を活用するログベースの異常検出フレームワークであるLogllmを提案します。
Logllmは、ログメッセージからセマンティックベクトルを抽出するためにBERTを使用しますが、ログシーケンスを分類するために、トランスデコーダーベースのモデルであるLlamaを使用します。
さらに、バートとラマのベクトル表現スペースを整列させるプロジェクターを導入し、ログセマンティクスのまとまりのある理解を確保します。
テンプレートを抽出するためにログパーサーを必要とする従来の方法とは異なり、logllm preprocessesログメッセージは正規表現を使用して、プロセス全体を合理化します。
私たちのフレームワークは、パフォーマンスと適応性を向上させるように設計された新しい3段階の手順を通じて訓練されています。
4つのパブリックデータセットにわたる実験結果は、logllmが最先端の方法よりも優れていることを示しています。
不安定なログを処理する場合でも、ログメッセージの意味的な意味を効果的にキャプチャし、異常を正確に検出します。

要約(オリジナル)

Software systems often record important runtime information in logs to help with troubleshooting. Log-based anomaly detection has become a key research area that aims to identify system issues through log data, ultimately enhancing the reliability of software systems. Traditional deep learning methods often struggle to capture the semantic information embedded in log data, which is typically organized in natural language. In this paper, we propose LogLLM, a log-based anomaly detection framework that leverages large language models (LLMs). LogLLM employs BERT for extracting semantic vectors from log messages, while utilizing Llama, a transformer decoder-based model, for classifying log sequences. Additionally, we introduce a projector to align the vector representation spaces of BERT and Llama, ensuring a cohesive understanding of log semantics. Unlike conventional methods that require log parsers to extract templates, LogLLM preprocesses log messages with regular expressions, streamlining the entire process. Our framework is trained through a novel three-stage procedure designed to enhance performance and adaptability. Experimental results across four public datasets demonstrate that LogLLM outperforms state-of-the-art methods. Even when handling unstable logs, it effectively captures the semantic meaning of log messages and detects anomalies accurately.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google