From Blind Solvers to Logical Thinkers: Benchmarking LLMs’ Logical Integrity on Faulty Mathematical Problems

要約

数学の問題を考えてみましょう。「リリーは昨日親友からクッキーを 3 枚受け取り、朝食に 5 枚食べました。」
今日、彼女の友達は彼女にさらにクッキーを 3 枚くれました。
リリーは今クッキーを何枚持っていますか？
以前の研究における多くの大規模言語モデル (LLM) は、方程式「3 – 5 + 3」を使用して答え「1」を計算することによってこの問題にアプローチしました。
しかし、人間の観点から見ると、私たちはこの問題に内在する欠陥があることを認識しています。つまり、リリーが最初にクッキーを 3 枚しか持っていなかった場合、リリーは 5 枚のクッキーを食べることができないということです。この矛盾により、重要な疑問が生じます。現在の LLM は、より深い推論を行わずに数学的演算を適用するブラインド ソルバーにすぎないのか、あるいは、
彼らは論理的矛盾を特定できる論理的思考者として機能できるでしょうか?
この疑問を探求するために、私たちはベンチマーク データセット FaultyMath を提案します。これには、豊かな多様性を持つ欠陥のある数学問題が含まれています: i) 複数の数学カテゴリ (例: 代数、幾何学、数論など)、ii) さまざまな難易度、および iii)
欠陥の原因はさまざまで、常識違反や曖昧な記述から数学的矛盾などにまで及びます。
私たちは、FaultyMath を 3 つの次元で使用して、オープンソース、クローズドソース、数学に特化したモデルを含む広範な LLM を評価します。(i) 明示的に指示されずに、モデルは欠陥のある数学の問題をどの程度正確に検出できるか?
(ii) 問題の妥当性に関するヒント (正しいか誤解を招くか) が与えられたとき、LLM はどの程度適応して信頼できる論理的思考者になるでしょうか?
(iii) LLM が数学の問題に欠陥があると認識した場合に生成される説明は、どの程度信頼できますか?
広範な実験と詳細な分析を通じて、私たちの結果は、既存の LLM は主にブラインド ソルバーとして機能し、論理的思考者として実行するために必要な推論能力に達していないことを示しています。

要約(オリジナル)

Consider the math problem: ‘Lily received 3 cookies from her best friend yesterday and ate 5 for breakfast. Today, her friend gave her 3 more cookies. How many cookies does Lily have now?’ Many large language models (LLMs) in previous research approach this problem by calculating the answer ‘1’ using the equation ‘3 – 5 + 3.’ However, from a human perspective, we recognize the inherent flaw in this problem: Lily cannot eat 5 cookies if she initially only had 3. This discrepancy prompts a key question: Are current LLMs merely Blind Solver that apply mathematical operations without deeper reasoning, or can they function as Logical Thinker capable of identifying logical inconsistencies? To explore this question, we propose a benchmark dataset, FaultyMath, which includes faulty math problems of rich diversity: i) multiple mathematical categories, e.g., algebra, geometry, number theory, etc., ii) varying levels of difficulty, and iii) different origins of faultiness — ranging from violations of common sense and ambiguous statements to mathematical contradictions and more. We evaluate a broad spectrum of LLMs, including open-source, closed-source, and math-specialized models, using FaultyMath across three dimensions: (i) How accurately can the models detect faulty math problems without being explicitly prompted to do so? (ii) When provided with hints — either correct or misleading — about the validity of the problems, to what extent do LLMs adapt to become reliable Logical Thinker? (iii) How trustworthy are the explanations generated by LLMs when they recognize a math problem as flawed? Through extensive experimentation and detailed analysis, our results demonstrate that existing LLMs largely function as Blind Solver and fall short of the reasoning capabilities required to perform as Logical Thinker.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google