CodexGraph: Bridging Large Language Models and Code Repositories via Code Graph Databases

要約

大規模言語モデル (LLM) は、HumanEval や MBPP などのスタンドアロン コード タスクには優れていますが、コード リポジトリ全体の処理には苦労します。
この課題により、リポジトリ規模で LLM とコードベースの相互作用を強化する研究が促進されました。
現在のソリューションは類似性に基づく検索や手動のツールや API に依存していますが、それぞれに顕著な欠点があります。
類似性に基づく検索は、複雑なタスクでは再現率が低いことがよくありますが、手動ツールや API は通常、タスク固有で専門知識が必要なため、さまざまなコード タスクや現実世界のアプリケーションにわたる汎用性が低下します。
これらの制限を軽減するために、LLM エージェントとコード リポジトリから抽出されたグラフ データベース インターフェイスを統合するシステム \framework を導入します。
\framework は、グラフ データベースの構造特性とグラフ クエリ言語の柔軟性を活用することで、LLM エージェントがクエリを構築して実行できるようにし、コード構造を意識した正確なコンテキスト取得とコード ナビゲーションを可能にします。
CrossCodeEval、SWE-bench、EvoCodeBench の 3 つのベンチマークを使用して \framework を評価します。
さらに、5 つの現実世界のコーディング アプリケーションを開発しています。
統一されたグラフ データベース スキーマを備えた \framework は、学術環境と実世界の環境の両方で競争力のあるパフォーマンスと可能性を実証し、ソフトウェア エンジニアリングにおけるその多用途性と有効性を示します。
アプリケーションのデモ: https://github.com/modelscope/modelscope-agent/tree/master/apps/codexgraph_agent

要約(オリジナル)

Large Language Models (LLMs) excel in stand-alone code tasks like HumanEval and MBPP, but struggle with handling entire code repositories. This challenge has prompted research on enhancing LLM-codebase interaction at a repository scale. Current solutions rely on similarity-based retrieval or manual tools and APIs, each with notable drawbacks. Similarity-based retrieval often has low recall in complex tasks, while manual tools and APIs are typically task-specific and require expert knowledge, reducing their generalizability across diverse code tasks and real-world applications. To mitigate these limitations, we introduce \framework, a system that integrates LLM agents with graph database interfaces extracted from code repositories. By leveraging the structural properties of graph databases and the flexibility of the graph query language, \framework enables the LLM agent to construct and execute queries, allowing for precise, code structure-aware context retrieval and code navigation. We assess \framework using three benchmarks: CrossCodeEval, SWE-bench, and EvoCodeBench. Additionally, we develop five real-world coding applications. With a unified graph database schema, \framework demonstrates competitive performance and potential in both academic and real-world environments, showcasing its versatility and efficacy in software engineering. Our application demo: https://github.com/modelscope/modelscope-agent/tree/master/apps/codexgraph_agent.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google