要約
クラッシュ バグは予期しないプログラムの動作や終了を引き起こすため、優先度の高い解決策が必要です。
ただし、クラッシュ バグを手動で解決するのは困難で労力がかかるため、研究者は自動化された位置特定と修復のためのさまざまな手法を提案しています。
最近の大規模言語モデル (LLM) である ChatGPT は、さまざまなドメインにわたって優れたパフォーマンスを発揮するため、大きな注目を集めています。
この研究では、コード関連および環境関連のクラッシュ バグのローカライズと修復の両方における ChatGPT の有効性に焦点を当て、現実世界のクラッシュ バグを解決する ChatGPT の機能に関する最初の調査を実行します。
具体的には、最初に、基本的なプロンプトを使用してクラッシュ バグを 1 回の反復で解決する ChatGPT の基本的な能力を評価します。
ChatGPT は、環境関連のクラッシュ バグと比較して、コード関連のクラッシュ バグの解決において優れたパフォーマンスを発揮し、解決における主な課題は不正確なローカリゼーションにあることが観察されています。
さらに、さまざまな高度なプロンプトを使用して ChatGPT の可能性を探ります。
さらに、ChatGPT の自己計画を刺激することで、プロアクティブな調査を通じてクラッシュの原因となる可能性のある環境要因を系統的に調査し、最終的にクラッシュの根本原因を特定します。
私たちの調査結果に基づいて、LLM との継続的な対話を通じて正確なクラッシュ バグの解決を促進するように設計された対話方法論である IntDiagSolver を提案します。
複数の LLM で IntDiagSolver を評価すると、ChatGPT、Claude、CodeLlama などのクラッシュ バグ解決の精度が一貫して向上していることがわかります。
要約(オリジナル)
Crash bugs cause unexpected program behaviors or even termination, requiring high-priority resolution. However, manually resolving crash bugs is challenging and labor-intensive, and researchers have proposed various techniques for their automated localization and repair. ChatGPT, a recent large language model (LLM), has garnered significant attention due to its exceptional performance across various domains. This work performs the first investigation into ChatGPT’s capability in resolve real-world crash bugs, focusing on its effectiveness in both localizing and repairing code-related and environment-related crash bugs. Specifically, we initially assess ChatGPT’s fundamental ability to resolve crash bugs with basic prompts in a single iteration. We observe that ChatGPT performs better at resolving code-related crash bugs compared to environment-related ones, and its primary challenge in resolution lies in inaccurate localization. Additionally, we explore ChatGPT’s potential with various advanced prompts. Furthermore, by stimulating ChatGPT’s self-planning, it methodically investigates each potential crash-causing environmental factor through proactive inquiry, ultimately identifying the root cause of the crash. Based on our findings, we propose IntDiagSolver, an interaction methodology designed to facilitate precise crash bug resolution through continuous interaction with LLMs. Evaluating IntDiagSolver on multiple LLMs reveals consistent enhancement in the accuracy of crash bug resolution, including ChatGPT, Claude, and CodeLlama.
arxiv情報
| 著者 | Xueying Du,Mingwei Liu,Juntao Li,Hanlin Wang,Xin Peng,Yiling Lou |
| 発行日 | 2023-12-16 13:41:04+00:00 |
| arxivサイト | arxiv_id(pdf) |
提供元, 利用サービス
arxiv.jp, Google