Not All LLM Reasoners Are Created Equal

要約

私たちは、LLM の小学校数学 (GSM) の問題解決能力の深さを研究します。
この目的を達成するために、2 番目の問題の答えが最初の問題の正答に依存するように、既存の数学文章題のペアに対する生徒の成績を一緒に評価します。
私たちの調査結果は、ほとんどの LLM における推論の大きなギャップ、つまり構成ペアを解く場合と各質問を個別に解く場合のパフォーマンスの違いを明らかにしました。
このギャップは、より小型でコスト効率が高く、数学に特化したモデルでより顕著になります。
さらに、命令チューニングのレシピとコード生成は LLM サイズ間でさまざまな影響を及ぼしますが、GSM での微調整はタスクのオーバーフィッティングにつながる可能性があります。
私たちの分析によると、大きな推論ギャップはテストセットの漏洩によるものではなく、追加のコンテキストからの注意散漫と不十分なセカンドホップ推論によるものであることが示されています。
全体として、LLM は、標準ベンチマークでのパフォーマンスが示すものにもかかわらず、推論能力に体系的な違いを示しています。

要約(オリジナル)

We study the depth of grade-school math (GSM) problem-solving capabilities of LLMs. To this end, we evaluate their performance on pairs of existing math word problems together so that the answer to the second problem depends on correctly answering the first problem. Our findings reveal a significant reasoning gap in most LLMs, that is performance difference between solving the compositional pairs and solving each question independently. This gap is more pronounced in smaller, more cost-efficient, and math-specialized models. Moreover, instruction-tuning recipes and code generation have varying effects across LLM sizes, while finetuning on GSM can lead to task overfitting. Our analysis indicates that large reasoning gaps are not because of test-set leakage, but due to distraction from additional context and poor second-hop reasoning. Overall, LLMs exhibit systematic differences in their reasoning abilities, despite what their performance on standard benchmarks indicates.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google