Bug In the Code Stack: Can LLMs Find Bugs in Large Python Code Stacks

要約

Needle-in-a-Haystack (NIAH) ベンチマークの最近の研究では、大規模なテキスト ドキュメントからコンテキスト情報を取得する大規模言語モデル (LLM) の機能が調査されています。
ただし、LLM がソフトウェア開発プロセスにますます統合されるようになるにつれて、コードベースの環境で LLM のパフォーマンスを評価することが重要になります。
LLM はプログラム合成用にさらに開発されるため、LLM が構文を理解し、構文的に正しいコードを作成できることを確認する必要があります。
LLM が構文を理解していることを確認するためのステップとして、LLM が構文のバグを見つけて検出する能力を評価できます。
私たちのベンチマークである Bug In The Code Stack (BICS) は、大規模なソース コード内の単純な構文のバグを識別する LLM の能力を評価するように設計されています。
私たちの調査結果では、次の 3 つの重要な洞察が明らかになりました。(1) コードベースの環境は、テキストベースの環境に比べて検索タスクにおいてはるかに多くの課題を抱えています、(2) 異なるモデル間には大幅なパフォーマンスの差異があります、および (3) 顕著な相関関係があります。
コンテキストの長さが長くなるとパフォーマンスが低下しますが、この低下の程度はモデルによって異なります。

要約(オリジナル)

Recent research in Needle-in-a-Haystack (NIAH) benchmarks has explored the capabilities of Large Language Models (LLMs) in retrieving contextual information from large text documents. However, as LLMs become increasingly integrated into software development processes, it is crucial to evaluate their performance in code-based environments. As LLMs are further developed for program synthesis, we need to ensure that LLMs can understand syntax and write syntactically correct code. As a step in ensuring LLMs understand syntax, LLMs can be evaluated in their ability to find and detect syntax bugs. Our benchmark, Bug In The Code Stack (BICS), is designed to assess the ability of LLMs to identify simple syntax bugs within large source code. Our findings reveal three key insights: (1) code-based environments pose significantly more challenge compared to text-based environments for retrieval tasks, (2) there is a substantial performance disparity among different models, and (3) there is a notable correlation between longer context lengths and performance degradation, though the extent of this degradation varies between models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google