A Careful Examination of Large Language Model Performance on Grade School Arithmetic

要約

大規模言語モデル (LLM) は、数学的推論の多くのベンチマークで目覚ましい成功を収めています。
しかし、このパフォーマンスの一部は実際にはデータセットの汚染を反映しているのではないかという懸念が高まっています。つまり、真の推論能力ではなく、ベンチマークの質問によく似たデータがトレーニング データに漏洩しているということです。
この主張を厳密に調査するために、私たちは Grade School Math 1000 (GSM1k) を委託しています。
GSM1k は、初歩的な数学的推論を測定するためのゴールドスタンダードである、確立された GSM8k ベンチマークのスタイルと複雑さを反映するように設計されています。
人間による解決率、解決のステップ数、回答の大きさなどの重要な指標において 2 つのベンチマークが比較できることを保証します。
GSM1k で主要なオープンソースおよびクローズドソース LLM を評価すると、いくつかのモデル ファミリ (Phi や Mistral など) で、ほぼすべてのモデル サイズにわたって体系的な過学習の証拠が示され、最大 13% の精度の低下が観察されます。
同時に、多くのモデル、特にフロンティアにあるモデル (Gemini/GPT/Claude など) は、過剰学習の兆候を最小限に抑えています。
さらなる分析により、モデルが GSM8k から例を生成する確率と、GSM8k と GSM1k の間のパフォーマンスの差との間に正の関係 (スピアマンの r^2=0.32) があることが示唆され、多くのモデルが GSM8k を部分的に記憶している可能性があることが示唆されています。

要約(オリジナル)

Large language models (LLMs) have achieved impressive success on many benchmarks for mathematical reasoning. However, there is growing concern that some of this performance actually reflects dataset contamination, where data closely resembling benchmark questions leaks into the training data, instead of true reasoning ability. To investigate this claim rigorously, we commission Grade School Math 1000 (GSM1k). GSM1k is designed to mirror the style and complexity of the established GSM8k benchmark, the gold standard for measuring elementary mathematical reasoning. We ensure that the two benchmarks are comparable across important metrics such as human solve rates, number of steps in solution, answer magnitude, and more. When evaluating leading open- and closed-source LLMs on GSM1k, we observe accuracy drops of up to 13%, with several families of models (e.g., Phi and Mistral) showing evidence of systematic overfitting across almost all model sizes. At the same time, many models, especially those on the frontier, (e.g., Gemini/GPT/Claude) show minimal signs of overfitting. Further analysis suggests a positive relationship (Spearman’s r^2=0.32) between a model’s probability of generating an example from GSM8k and its performance gap between GSM8k and GSM1k, suggesting that many models may have partially memorized GSM8k.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google