Interpretable Online Log Analysis Using Large Language Models with Prompt Strategies

要約

自動ログ分析は、ソフトウェアのメンテナンスとエンジニアリングのライフサイクル全体を通じてプログラムの理解を容易にするために、ソフトウェアを多用する最新のシステムにおいて非常に重要です。
既存のメソッドは、解釈せずに単一の予測値を提供することによって、ログ解析やログ異常検出などのタスクを実行します。
しかし、システム イベントの量が増加していることを考慮すると、分析結果の解釈可能性が限られているため、分析者がプログラムのステータスを理解し、適切なアクションを実行する能力が妨げられています。
さらに、これらの方法には大量のドメイン内トレーニング データが必要であり、新しいドメインからの目に見えないログが含まれるオンライン シナリオではパフォーマンスが急激に (最大 62.5% まで) 低下します。これは、ソフトウェアの急速な更新が原因でよく発生します。
このペーパーでは、オンライン シナリオ向けの新しい解釈可能なログ分析アプローチである LogPrompt を提案します。
LogPrompt は大規模言語モデル (LLM) を採用し、ログ タスクに合わせた一連の高度なプロンプト戦略を介してオンライン ログ分析タスクを実行します。これにより、単純なプロンプトと比較して LLM のパフォーマンスが最大 380.7% 向上します。
2 つのタスクにわたる 9 つの公開されている評価データセットでの実験では、LogPrompt がドメイン内トレーニングを必要としないにもかかわらず、数千のログでトレーニングされた既存のアプローチよりも最大 55.9% 優れていることが実証されました。
また、10 年以上の経験を持つ 6 人の実践者による LogPrompt の解釈可能性の人的評価も実施し、生成されたコンテンツの有用性と読みやすさの点で高く評価しました (平均 4.42/5)。
LogPrompt は、オープンソースおよび小規模 LLM との優れた互換性も示し、実際の展開に柔軟に対応します。
LogPrompt のコードは https://github.com/lunyiliu/LogPrompt で入手できます。

要約(オリジナル)

Automated log analysis is crucial in modern software-intensive systems for facilitating program comprehension throughout software maintenance and engineering life cycles. Existing methods perform tasks such as log parsing and log anomaly detection by providing a single prediction value without interpretation. However, given the increasing volume of system events, the limited interpretability of analysis results hinders analysts’ comprehension of program status and their ability to take appropriate actions. Moreover, these methods require substantial in-domain training data, and their performance declines sharply (by up to 62.5%) in online scenarios involving unseen logs from new domains, a common occurrence due to rapid software updates. In this paper, we propose LogPrompt, a novel interpretable log analysis approach for online scenarios. LogPrompt employs large language models (LLMs) to perform online log analysis tasks via a suite of advanced prompt strategies tailored for log tasks, which enhances LLMs’ performance by up to 380.7% compared with simple prompts. Experiments on nine publicly available evaluation datasets across two tasks demonstrate that LogPrompt, despite requiring no in-domain training, outperforms existing approaches trained on thousands of logs by up to 55.9%. We also conduct a human evaluation of LogPrompt’s interpretability, with six practitioners possessing over 10 years of experience, who highly rated the generated content in terms of usefulness and readability (averagely 4.42/5). LogPrompt also exhibits remarkable compatibility with open-source and smaller-scale LLMs, making it flexible for practical deployment. Code of LogPrompt is available at https://github.com/lunyiliu/LogPrompt.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google