BigO(Bench) — Can LLMs Generate Code with Controlled Time and Space Complexity?

要約

指定された時間と空間の複雑さを伴うコードの理解と生成において、生成言語モデルの機能を評価するために設計された新しいコーディングベンチマークであるBigo（Bench）を紹介します。
このベンチマークは、モデルが計算の複雑さによって制約されたコードを理解および生成する能力をしばしば見落とす現在の評価のギャップに対処します。
BIGO（ベンチ）には、ヒトまたはLLM生成ソリューションを含むプロファイリング測定からのPython関数のアルゴリズムの複雑さを推測するためのツールが含まれています。
BIGO（Bench）には、3,105のコーディング問題のセットと、複雑さフレームワークから推測された（合成）時間と空間の複雑さが注釈が付けられたコードコンテストからの1,190,250のソリューション、および多数の入力サイズのセットの対応するランタイムとメモリフットプリント値も含まれています。
このベンチマークで複数の最先端の言語モデルを評価し、複雑さの要件を処理する際の長所と短所を強調した結果を示します。
特に、トークン空間推論モデルはコード生成では比類のないが、複雑さの理解ではないため、トレーニング時に報酬が与えられなかったタスクによく一般化できない可能性があることを示唆しています。

要約(オリジナル)

We introduce BigO(Bench), a novel coding benchmark designed to evaluate the capabilities of generative language models in understanding and generating code with specified time and space complexities. This benchmark addresses the gap in current evaluations that often overlook the ability of models to comprehend and produce code constrained by computational complexity. BigO(Bench) includes tooling to infer the algorithmic complexity of any Python function from profiling measurements, including human- or LLM-generated solutions. BigO(Bench) also includes of set of 3,105 coding problems and 1,190,250 solutions from Code Contests annotated with inferred (synthetic) time and space complexity labels from the complexity framework, as well as corresponding runtime and memory footprint values for a large set of input sizes. We present results from evaluating multiple state-of-the-art language models on this benchmark, highlighting their strengths and weaknesses in handling complexity requirements. In particular, token-space reasoning models are unrivaled in code generation but not in complexity understanding, hinting that they may not generalize well to tasks for which no reward was given at training time.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google