Mercury: A Code Efficiency Benchmark for Code Large Language Models

要約

コード用大規模言語モデル (コード LLM) の評価における最近の進歩の中で、既存のベンチマークは主に生成されたコードの機能の正確さに焦点を当てており、その計算効率の重要性は無視されています。
このギャップを埋めるために、コード LLM の最初のコード効率ベンチマークである Mercury を紹介します。
これは 1,889 の Python タスクで構成されており、それぞれに現実世界の効率ベースラインとして機能する適切なソリューションが付属しており、ランタイム分布の包括的な分析を可能にします。
分布に基づいて、ランタイムのパーセンタイルで重み付けされたパス スコアを計算して、機能の正確さとコードの効率を同時に反映する新しいメトリクス Beyond を導入します。
Mercury では、主要な Code LLM は Pass で 65% を達成できますが、Beyond では 50% 未満です。
理想的な Beyond スコアが Pass スコアと一致することを考えると、Code LLM は機能的に正しいコードを生成する点では優れた能力を発揮しますが、その効率には依然として顕著なギャップがあることがわかります。
最後に、私たちの実証実験では、直接設定最適化 (DPO) が、教師付きファイン チューニング (SFT) と比較してコード効率を向上させるための堅牢なベースラインとして機能することを明らかにしており、これにより、効率的なコード生成の将来の探求に有望な道が開かれます。
私たちのコードとデータは GitHub: https://github.com/Elfsong/Mercury で入手できます。

要約(オリジナル)

Amidst the recent strides in evaluating Large Language Models for Code (Code LLMs), existing benchmarks have mainly focused on the functional correctness of generated code, neglecting the importance of their computational efficiency. To fill the gap, we present Mercury, the first code efficiency benchmark for Code LLMs. It comprises 1,889 Python tasks, each accompanied by adequate solutions that serve as real-world efficiency baselines, enabling a comprehensive analysis of the runtime distribution. Based on the distribution, we introduce a new metric Beyond, which computes a runtime-percentile-weighted Pass score to reflect functional correctness and code efficiency simultaneously. On Mercury, leading Code LLMs can achieve 65% on Pass, while less than 50% on Beyond. Given that an ideal Beyond score would be aligned with the Pass score, it indicates that while Code LLMs exhibit impressive capabilities in generating functionally correct code, there remains a notable gap in their efficiency. Finally, our empirical experiments reveal that Direct Preference Optimization (DPO) serves as a robust baseline for enhancing code efficiency compared with Supervised Fine Tuning (SFT), which paves a promising avenue for future exploration of efficient code generation. Our code and data are available on GitHub: https://github.com/Elfsong/Mercury.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google