ChatDBG: Augmenting Debugging with Large Language Models

要約

デバッグは、プログラマーにとって重要だが挑戦的なタスクです。
このペーパーでは、AIを搭載したデバッグアシスタントであるChatDBGを提案します。
CHATDBGは、大規模な言語モデル（LLMS）を統合して、従来のデバッグの機能とユーザーフレンドリーを大幅に強化します。
chatDBGにより、プログラマーはデバッガーとの共同の対話を行い、プログラム状態に関する複雑な質問を提起し、クラッシュまたはアサーションの障害の根本原因分析を実行し、「なぜx null？」
これらのクエリを処理するために、CHATDBGはLLMの自律性を付与して「ホイールを取る」ことを許可します。デバッガーをクエリして制御してスタックをナビゲートし、プログラム状態を検査できる独立したエージェントとして機能します。
次に、その結​​果を報告し、プログラマーに戻ってコントロールをもたらします。
LLMSに組み込まれた実世界の知識を活用することにより、ChATDBGはドメイン固有の推論を使用してのみ識別可能な問題を診断できます。
当社のCHATDBGプロトタイプは、ネイティブコード用のLLDBおよびGDB、Python用のPDBを含む標準のデバッガーと統合されています。
既知のバグを備えたC/C ++コードやスタンドアロンスクリプトやJupyterノートブックを含む一連のPythonコードを含む、多様なコードセット全体での評価は、chatDBGが根源を正常に分析し、バグを説明し、幅広い実際の誤差エラーの正確な修正を生成できることを示しています。
Pythonプログラムの場合、単一のクエリにより、67％の時間の実行可能なバグ修正が行われました。
追加のフォローアップクエリは、成功率を85％に増加させました。
ChatDBGには急速な摂取が見られました。
すでに75,000回以上ダウンロードされています。

要約(オリジナル)

Debugging is a critical but challenging task for programmers. This paper proposes ChatDBG, an AI-powered debugging assistant. ChatDBG integrates large language models (LLMs) to significantly enhance the capabilities and user-friendliness of conventional debuggers. ChatDBG lets programmers engage in a collaborative dialogue with the debugger, allowing them to pose complex questions about program state, perform root cause analysis for crashes or assertion failures, and explore open-ended queries like ‘why is x null?’. To handle these queries, ChatDBG grants the LLM autonomy to ‘take the wheel’: it can act as an independent agent capable of querying and controlling the debugger to navigate through stacks and inspect program state. It then reports its findings and yields back control to the programmer. By leveraging the real-world knowledge embedded in LLMs, ChatDBG can diagnose issues identifiable only through the use of domain-specific reasoning. Our ChatDBG prototype integrates with standard debuggers including LLDB and GDB for native code and Pdb for Python. Our evaluation across a diverse set of code, including C/C++ code with known bugs and a suite of Python code including standalone scripts and Jupyter notebooks, demonstrates that ChatDBG can successfully analyze root causes, explain bugs, and generate accurate fixes for a wide range of real-world errors. For the Python programs, a single query led to an actionable bug fix 67% of the time; one additional follow-up query increased the success rate to 85%. ChatDBG has seen rapid uptake; it has already been downloaded more than 75,000 times.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google