CodeEditorBench: Evaluating Code Editing Capability of Large Language Models

要約

コードの大規模な言語モデル（LLM）は急速に進化しており、コード編集は重要な機能として浮上しています。
Debugging、翻訳、研磨、要件の切り替えなど、コード編集タスクでのLLMのパフォーマンスを厳密に評価するように設計された評価フレームワークであるCodeeDitorBenchを紹介します。
コード生成のみに焦点を当てた既存のベンチマークとは異なり、CodeeDitorBenchは、ソフトウェア開発の実際のシナリオと実用的な側面を強調しています。
さまざまなプログラミング言語、複雑さレベル、編集タスクをカバーする5つのソースからの多様なコーディングの課題とシナリオをキュレートします。
19 LLMの評価により、クローズドソースモデル（特にGemini-UltraおよびGPT-4）がCodeeDitorBenchのオープンソースモデルよりも優れていることが明らかになり、問題の種類と迅速な感度に基づいたモデルパフォーマンスの違いを強調しています。
CodeeDitorBenchは、コード編集機能を評価するための堅牢なプラットフォームを提供することにより、LLMSの進歩を触媒することを目指しています。
コミュニティがデータセットとベンチマークの新しいLLMを拡張できるようにするために、すべてのプロンプトとデータセットをリリースします。
CodeeDitorBenchを導入することにより、コード編集におけるLLMの進歩に貢献し、研究者と実践者に貴重なリソースを提供します。

要約(オリジナル)

Large Language Models (LLMs) for code are rapidly evolving, with code editing emerging as a critical capability. We introduce CodeEditorBench, an evaluation framework designed to rigorously assess the performance of LLMs in code editing tasks, including debugging, translating, polishing, and requirement switching. Unlike existing benchmarks focusing solely on code generation, CodeEditorBench emphasizes real-world scenarios and practical aspects of software development. We curate diverse coding challenges and scenarios from five sources, covering various programming languages, complexity levels, and editing tasks. Evaluation of 19 LLMs reveals that closed-source models (particularly Gemini-Ultra and GPT-4), outperform open-source models in CodeEditorBench, highlighting differences in model performance based on problem types and prompt sensitivities. CodeEditorBench aims to catalyze advancements in LLMs by providing a robust platform for assessing code editing capabilities. We will release all prompts and datasets to enable the community to expand the dataset and benchmark emerging LLMs. By introducing CodeEditorBench, we contribute to the advancement of LLMs in code editing and provide a valuable resource for researchers and practitioners.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google