LogPrompt: Prompt Engineering Towards Zero-Shot and Interpretable Log Analysis

要約

自動ログ分析は、ソフトウェアのメンテナンスとエンジニアリングのライフサイクル全体を通して信頼性と回復力を確保するために、ソフトウェアを多用する最新のシステムにおいて非常に重要です。
既存のメソッドは、解釈せずに単一の予測値を提供することによって、ログ解析やログ異常検出などのタスクを実行します。
しかし、システム イベントの量が増加していることを考慮すると、分析結果の解釈可能性が限られているため、分析者の信頼と適切な行動をとる能力が妨げられています。
さらに、これらの方法には大量のドメイン内トレーニング データが必要であり、新しいドメインからの目に見えないログが含まれるオンライン シナリオではパフォーマンスが急激に (最大 62.5% まで) 低下します。これは、ソフトウェアの急速な更新が原因でよく発生します。
このペーパーでは、新しいゼロショットで解釈可能なログ分析アプローチである LogPrompt を提案します。
LogPrompt は大規模言語モデル (LLM) を採用し、ログ タスクに合わせた一連の高度なプロンプト戦略を介してゼロショット ログ分析タスクを実行します。これにより、単純なプロンプトと比較して LLM のパフォーマンスが最大 107.5% 向上します。
2 つのタスクにわたる 9 つの公開されている評価データセットでの実験では、トレーニング データを使用していないにもかかわらず、LogPrompt が数千のログでトレーニングされた既存のアプローチよりも最大約 50% 優れていることが実証されました。
また、10 年以上の経験を持つ 6 人の実践者による LogPrompt の解釈可能性の人的評価も実施し、生成されたコンテンツの有用性と読みやすさの点で高く評価しました (平均 4.42/5)。
LogPrompt は、オープンソースおよび小規模 LLM との優れた互換性も示し、実際の展開に柔軟に対応します。

要約(オリジナル)

Automated log analysis is crucial in modern software-intensive systems for ensuring reliability and resilience throughout software maintenance and engineering life cycles. Existing methods perform tasks such as log parsing and log anomaly detection by providing a single prediction value without interpretation. However, given the increasing volume of system events, the limited interpretability of analysis results hinders analysts’ trust and their ability to take appropriate actions. Moreover, these methods require substantial in-domain training data, and their performance declines sharply (by up to 62.5%) in online scenarios involving unseen logs from new domains, a common occurrence due to rapid software updates. In this paper, we propose LogPrompt, a novel zero-shot and interpretable log analysis approach. LogPrompt employs large language models (LLMs) to perform zero-shot log analysis tasks via a suite of advanced prompt strategies tailored for log tasks, which enhances LLMs’ performance by up to 107.5% compared with simple prompts. Experiments on nine publicly available evaluation datasets across two tasks demonstrate that LogPrompt, despite using no training data, outperforms existing approaches trained on thousands of logs by up to around 50%. We also conduct a human evaluation of LogPrompt’s interpretability, with six practitioners possessing over 10 years of experience, who highly rated the generated content in terms of usefulness and readability (averagely 4.42/5). LogPrompt also exhibits remarkable compatibility with open-source and smaller-scale LLMs, making it flexible for practical deployment.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google