HELP: Hierarchical Embeddings-based Log Parsing

要約

ログは、ソフトウェアのメンテナンスと障害診断のための直接の情報源です。
半構造化ログ メッセージを構造化テンプレートに変換するログ解析は、異常検出、トラブルシューティング、根本原因分析などの自動ログ分析タスクの前提条件です。
ただし、既存のログ パーサーは、主に 3 つの理由で実際のシステムでは失敗します。
まず、従来のヒューリスティック ベースのパーサーには手作りの機能とドメインの知識が必要であり、大規模に一般化するのは困難です。
第 2 に、既存の大規模言語モデルベースのパーサーは定期的なオフライン処理に依存しているため、リアルタイムのユースケースでの有効性が制限されます。
第三に、既存のオンライン解析アルゴリズムはログ ドリフトの影響を受けやすく、ログのわずかな変化により偽陽性が発生し、実際の異常がかき消されます。
これらの課題に対処するために、階層埋め込みベースのログ パーサーである HELP を提案します。
HELP は、LLM を活用してパフォーマンスとコスト効率の高いログ解析を行う初のオンライン セマンティック ベースのパーサーです。
これは、解析前にテキスト埋め込みモデルを微調整してログをクラスター化し、クエリのコストを数桁削減する新しい階層埋め込みモジュールを通じてこれを実現します。
ログ ドリフトに対処するために、既存のログ グループを定期的に更新する反復再バランス モジュールも開発しました。
私たちは、14 の公開された大規模データセットで HELP を広範囲に評価し、HELP が現在の最先端のオンライン ログ パーサーよりも大幅に高い F1 重み付けグループ化と解析精度を達成していることを示しました。
また、HELP を Iudex の実稼働可観測性プラットフォームに実装し、実稼働環境における HELP の実用性を確認しました。
私たちの結果は、HELP が高スループットの実世界のログ解析に効果的かつ効率的であることを示しています。

要約(オリジナル)

Logs are a first-hand source of information for software maintenance and failure diagnosis. Log parsing, which converts semi-structured log messages into structured templates, is a prerequisite for automated log analysis tasks such as anomaly detection, troubleshooting, and root cause analysis. However, existing log parsers fail in real-world systems for three main reasons. First, traditional heuristics-based parsers require handcrafted features and domain knowledge, which are difficult to generalize at scale. Second, existing large language model-based parsers rely on periodic offline processing, limiting their effectiveness in real-time use cases. Third, existing online parsing algorithms are susceptible to log drift, where slight log changes create false positives that drown out real anomalies. To address these challenges, we propose HELP, a Hierarchical Embeddings-based Log Parser. HELP is the first online semantic-based parser to leverage LLMs for performant and cost-effective log parsing. We achieve this through a novel hierarchical embeddings module, which fine-tunes a text embedding model to cluster logs before parsing, reducing querying costs by multiple orders of magnitude. To combat log drift, we also develop an iterative rebalancing module, which periodically updates existing log groupings. We evaluate HELP extensively on 14 public large-scale datasets, showing that HELP achieves significantly higher F1-weighted grouping and parsing accuracy than current state-of-the-art online log parsers. We also implement HELP into Iudex’s production observability platform, confirming HELP’s practicality in a production environment. Our results show that HELP is effective and efficient for high-throughput real-world log parsing.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google