Lemur: Log Parsing with Entropy Sampling and Chain-of-Thought Merging

要約

広範なソフトウェア システムによって生成されるログは、システム動作の監視に不可欠です。
高度なログ分析により、システム障害の検出、警告、診断が容易になります。
ログ解析は、生のログ メッセージを構造化されたテンプレートに変換することを必要とし、ログ分析の自動化における重要なフェーズを構成します。
既存のログ パーサーは、人間が作成したルールに依存しているため、正しいテンプレートを識別できません。
さらに、これらの方法は、ログ メッセージの意味情報を無視しながら、統計的特徴に焦点を当てます。
これらの課題に対処するために、\textbf{E}ntropy サンプリングと思考連鎖 \textbf{M}erging (Lemur) を備えた最先端の \textbf{L}og 解析フレームワークを導入します。
具体的には、面倒なマニュアルルールを廃止することです。
我々は、典型的なログを効率的にクラスタリングする、情報エントロピーにヒントを得た新しいサンプリング方法を提案します。
さらに、ログ テンプレートのマージを強化するために、大規模言語モデル (LLM) 用の思考連鎖メソッドを設計します。
LLM は優れた意味理解を示し、パラメータと不変トークンを巧みに区別します。
私たちは大規模な公開データセットで実験を行ってきました。
広範な評価により、キツネザルが最先端のパフォーマンスと驚くべき効率を達成していることが実証されています。
コードは https://github.com/zwpride/lemur で入手できます。

要約(オリジナル)

Logs produced by extensive software systems are integral to monitoring system behaviors. Advanced log analysis facilitates the detection, alerting, and diagnosis of system faults. Log parsing, which entails transforming raw log messages into structured templates, constitutes a critical phase in the automation of log analytics. Existing log parsers fail to identify the correct templates due to reliance on human-made rules. Besides, These methods focus on statistical features while ignoring semantic information in log messages. To address these challenges, we introduce a cutting-edge \textbf{L}og parsing framework with \textbf{E}ntropy sampling and Chain-of-Thought \textbf{M}erging (Lemur). Specifically, to discard the tedious manual rules. We propose a novel sampling method inspired by information entropy, which efficiently clusters typical logs. Furthermore, to enhance the merging of log templates, we design a chain-of-thought method for large language models (LLMs). LLMs exhibit exceptional semantic comprehension, deftly distinguishing between parameters and invariant tokens. We have conducted experiments on large-scale public datasets. Extensive evaluation demonstrates that Lemur achieves the state-of-the-art performance and impressive efficiency. The Code is available at https://github.com/zwpride/lemur.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google