GSM-Plus: A Comprehensive Benchmark for Evaluating the Robustness of LLMs as Mathematical Problem Solvers

要約

大規模言語モデル (LLM) は、さまざまな数学的推論ベンチマークにわたって優れたパフォーマンスを達成しています。
しかし、これらのモデルが数学的知識を本当に理解して適用しているのか、それとも単に数学的推論のための近道に依存しているだけなのかについて議論が増えています。
重要かつ頻繁に発生する証拠の 1 つは、数学の問題がわずかに変更されると、LLM が誤った動作をする可能性があるということです。
これは、さまざまな質問のバリエーションをテストすることによって、LLM の数学的推論能力の堅牢性を評価する動機になります。
さまざまな数学的摂動で強化された GSM8K の拡張である、敵対的な小学校数学 (\datasetname) データセットを紹介します。
25 の LLM と 4 つのプロンプト手法に関する私たちの実験では、LLM はさまざまなレベルの数学的推論能力を示しますが、そのパフォーマンスは堅牢とは程遠いことがわかりました。
特に、GSM8K で解決された問題であっても、新しいステートメントが追加されたり、質問の対象が変更されたりすると、LLM は間違いを犯す可能性があります。
また、既存のプロンプト手法を組み合わせることによって、より堅牢なパフォーマンスが達成できるかどうかも検討します。この手法では、推論の目的と計算結果に基づいて各中間思考を生成および検証する反復手法を試します。
コードとデータは \url{https://github.com/qtli/GSM-Plus} で入手できます。

要約(オリジナル)

Large language models (LLMs) have achieved impressive performance across various mathematical reasoning benchmarks. However, there are increasing debates regarding whether these models truly understand and apply mathematical knowledge or merely rely on shortcuts for mathematical reasoning. One essential and frequently occurring evidence is that when the math questions are slightly changed, LLMs can behave incorrectly. This motivates us to evaluate the robustness of LLMs’ math reasoning capability by testing a wide range of question variations. We introduce the adversarial grade school math (\datasetname) dataset, an extension of GSM8K augmented with various mathematical perturbations. Our experiments on 25 LLMs and 4 prompting techniques show that while LLMs exhibit different levels of math reasoning abilities, their performances are far from robust. In particular, even for problems that have been solved in GSM8K, LLMs can make mistakes when new statements are added or the question targets are altered. We also explore whether more robust performance can be achieved by composing existing prompting methods, in which we try an iterative method that generates and verifies each intermediate thought based on its reasoning goal and calculation result. Code and data are available at \url{https://github.com/qtli/GSM-Plus}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google