Do Large Language Models Truly Grasp Mathematics? An Empirical Exploration From Cognitive Psychology

要約

大規模言語モデル (LLM) が数学的問題を解決する認知メカニズムは、依然として広く議論されており、未解決の問題です。
現在、LLM の問題解決と人間の認知心理学を結び付ける、解釈可能な実験的証拠はほとんどありません。LLM が人間のような数学的推論を備えているかどうかを判断するために、人間の認知反射テスト (CRT) で使用される問題を修正しました。
私たちの結果は、思考連鎖 (CoT) プロンプトを使用したとしても、最新の o1 モデル (推論機能で有名) を含む主流の LLM では、これらの修正された CRT 問題を解く際のエラー率が高いことを示しています。
具体的には、元の質問と比較して、平均正答率が最大 50% 低下しました。LLM の不正解をさらに分析したところ、LLM は主にトレーニング データからのパターン マッチングに依存しており、それはむしろ人間の直感 (システム 1 思考) と一致していることが示唆されています。
人間のような推論（システム 2 思考）よりも。
この発見は、LLM が人間と同等の真の数学的推論能力を持っているという考えに疑問を投げかけます。
結果として、この研究は、LLM の汎用人工知能への進歩に関する過度に楽観的な見方を調整する可能性があります。

要約(オリジナル)

The cognitive mechanism by which Large Language Models (LLMs) solve mathematical problems remains a widely debated and unresolved issue. Currently, there is little interpretable experimental evidence that connects LLMs’ problem-solving with human cognitive psychology.To determine if LLMs possess human-like mathematical reasoning, we modified the problems used in the human Cognitive Reflection Test (CRT). Our results show that, even with the use of Chains of Thought (CoT) prompts, mainstream LLMs, including the latest o1 model (noted for its reasoning capabilities), have a high error rate when solving these modified CRT problems. Specifically, the average accuracy rate dropped by up to 50% compared to the original questions.Further analysis of LLMs’ incorrect answers suggests that they primarily rely on pattern matching from their training data, which aligns more with human intuition (System 1 thinking) rather than with human-like reasoning (System 2 thinking). This finding challenges the belief that LLMs have genuine mathematical reasoning abilities comparable to humans. As a result, this work may adjust overly optimistic views on LLMs’ progress towards artificial general intelligence.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google