Evaluating Large Language Models with Runtime Behavior of Program Execution

要約

コードの大規模な言語モデル (つまり、コード LLM) は、強力なコード理解および生成機能を示しています。
さまざまな側面でコード LLM の機能を評価するために、多くのベンチマークが提案されています (HumanEval や ClassEval など)。
コード推論はコード LLM の最も重要な機能の 1 つですが、コード推論のための既存のベンチマークでは十分ではありません。
通常、それらはプログラムの入力と出力の予測に重点を置き、プログラム実行中の中間動作の評価や論理的一貫性（たとえば、実行パスの予測が間違っている場合、モデルは正しい出力を与えるべきではない）を無視します。
) 推論を実行するとき。
これらの問題に対処するために、この論文では、コード推論能力とコードLLMとプログラム実行の一貫性を評価するためのフレームワーク、すなわちREvalを提案します。
既存のコード ベンチマークを利用し、フレームワーク内の新しいベンチマークに適応させます。
大規模な実証研究が実施され、ほとんどの LLM は、実行時動作推論 (平均精度 44.4%) と増分一貫性評価 (平均 IC スコア 10.3) の両方で満足のいくパフォーマンスを示しませんでした。
現在のコード LLM の評価結果は、コード LLM のコード推論機能を強化するというコミュニティの緊急の必要性を反映しています。

要約(オリジナル)

Large language models for code (i.e., code LLMs) have shown strong code understanding and generation capabilities. To evaluate the capabilities of code LLMs in various aspects, many benchmarks have been proposed (e.g., HumanEval and ClassEval). Code reasoning is one of the most essential abilities of code LLMs, but existing benchmarks for code reasoning are not sufficient. Typically, they focus on predicting the input and output of a program, ignoring the evaluation of the intermediate behavior during program execution, as well as the logical consistency (e.g., the model should not give the correct output if the prediction of execution path is wrong) when performing the reasoning. To address these problems, in this paper, we propose a framework, namely REval, for evaluating code reasoning abilities and consistency of code LLMs with program execution. We utilize existing code benchmarks and adapt them to new benchmarks within our framework. A large-scale empirical study is conducted and most LLMs show unsatisfactory performance on both Runtime Behavior Reasoning (i.e., an average accuracy of 44.4%) and Incremental Consistency Evaluation (i.e., an average IC score of 10.3). Evaluation results of current code LLMs reflect the urgent need for the community to strengthen the code reasoning capability of code LLMs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google