要約
ソフトウェアログは、大規模なソフトウェアシステムの信頼性と保守性を確保する上で、実行時情報の唯一の情報源であることが多いため、重要な役割を担っています。生のログメッセージを構造化されたデータに変換するログ解析は、下流のログ解析に向けた重要な初期ステップである。最近の研究では、現在の最先端の大規模言語モデル（LLM）であるChatGPTが、ソフトウェア工学の幅広いタスクに広く適用されています。しかし、自動ログ解析におけるその性能は依然として不明である。本論文では、2つの研究課題に取り組むことで、ChatGPTのログ解析能力を評価する。(1) ChatGPTは効率的にログを解析できるか？ (2) 異なるプロンプト方式でChatGPTはどのようなパフォーマンスを発揮するか？その結果、ChatGPTは適切なプロンプト、特に数発のプロンプトでログ解析の有望な結果を達成できることがわかりました。また、ChatGPTを用いたログ解析の課題と可能性について述べます。
要約(オリジナル)
Software logs play an essential role in ensuring the reliability and maintainability of large-scale software systems, as they are often the sole source of runtime information. Log parsing, which converts raw log messages into structured data, is an important initial step towards downstream log analytics. In recent studies, ChatGPT, the current cutting-edge large language model (LLM), has been widely applied to a wide range of software engineering tasks. However, its performance in automated log parsing remains unclear. In this paper, we evaluate ChatGPT’s ability to undertake log parsing by addressing two research questions. (1) Can ChatGPT effectively parse logs? (2) How does ChatGPT perform with different prompting methods? Our results show that ChatGPT can achieve promising results for log parsing with appropriate prompts, especially with few-shot prompting. Based on our findings, we outline several challenges and opportunities for ChatGPT-based log parsing.
arxiv情報
| 著者 | Van-Hoang Le,Hongyu Zhang |
| 発行日 | 2023-06-02 14:58:43+00:00 |
| arxivサイト | arxiv_id(pdf) |