DOMAINEVAL: An Auto-Constructed Benchmark for Multi-Domain Code Generation

要約

HumanEval などのコード ベンチマークは、大規模言語モデル (LLM) の機能を評価するために広く採用されており、LLM の長所と短所についての洞察が得られます。
ただし、現在のベンチマークは主に一般的なコーディング タスク (バブル ソート、最大公約数など) で LLM の機能を活用しており、ドメイン固有のコーディング タスク (計算、システム、暗号化など) は未調査のままです。
このギャップを埋めるために、LLM のコーディング能力を徹底的に評価するように設計されたマルチドメイン コード ベンチマーク DOMAINEVAL を提案します。
私たちのパイプラインは完全に自動化された方法で動作し、コード リポジトリからフォーマットされた研究対象へのプッシュボトム構築を可能にします。
12 の代表的な LLM を DOMAINEVAL に対して評価すると、興味深い結果が観察されます。
LLM は一般に計算タスクには優れていますが、暗号化やシステム コーディングのタスクには及ばないことがわかります。
LLM によっては、パフォーマンスの差が 68.94% (80.94% – 12.0%) に達する場合があります。
また、より多くのサンプルを生成すると、LLM の全体的なパフォーマンスが向上する一方で、ドメインのバイアスがさらに増加する可能性があることも観察されています。
この研究の貢献には、6 つの人気のあるドメインを含むコード生成ベンチマーク データセット DOMAINEVAL、コード ベンチマークを構築するための完全に自動化されたパイプライン、DOMAINEVAL でのパフォーマンスに基づくコード生成タスクにおける LLM の制限の特定が含まれ、将来の方向性を提供します。
研究の改善。
リーダーボードは https://domainval.github.io/ で入手できます。

要約(オリジナル)

Code benchmarks such as HumanEval are widely adopted to evaluate the capabilities of Large Language Models (LLMs), providing insights into their strengths and weaknesses. However, current benchmarks primarily exercise LLMs’ capability on common coding tasks (e.g., bubble sort, greatest common divisor), leaving domain-specific coding tasks (e.g., computation, system, cryptography) unexplored. To fill this gap, we propose a multi-domain code benchmark, DOMAINEVAL, designed to evaluate LLMs’ coding capabilities thoroughly. Our pipeline works in a fully automated manner, enabling a push-bottom construction from code repositories into formatted subjects under study. Interesting findings are observed by evaluating 12 representative LLMs against DOMAINEVAL. We notice that LLMs are generally good at computation tasks while falling short on cryptography and system coding tasks. The performance gap can be as much as 68.94% (80.94% – 12.0%) in some LLMs. We also observe that generating more samples can increase the overall performance of LLMs, while the domain bias may even increase. The contributions of this study include a code generation benchmark dataset DOMAINEVAL, encompassing six popular domains, a fully automated pipeline for constructing code benchmarks, and an identification of the limitations of LLMs in code generation tasks based on their performance on DOMAINEVAL, providing directions for future research improvements. The leaderboard is available at https://domaineval.github.io/.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google