Challenge LLMs to Reason About Reasoning: A Benchmark to Unveil Cognitive Depth in LLMs

要約

この研究では、大規模言語モデルにメタ推論への取り組みを求める新しい評価パラダイムを導入します。
このアプローチは、エージェントの認知能力を評価するために伝統的に使用されてきた既存の数学問題解決ベンチマークの重大な欠点に対処します。
私たちのパラダイムは、推論プロセスを見落としがちな結果指向の評価から、モデル間の認知能力を効果的に区別する、より総合的な評価に焦点を移します。
たとえば、私たちのベンチマークでは、GPT-4 は GPT3-5 よりも 10 倍正確なパフォーマンスを示しています。
この新しいパラダイムの重要性は、GSM8K などの現在のベンチマークでは LLM の飽和とさまざまな推論能力間の効果的な区別の欠如により発見できない潜在的な認知欠陥を明らかにできることにあります。
私たちの包括的な分析には、オープンソースとクローズドソースの両方のコミュニティからのいくつかの最先端の数学モデルが含まれており、トレーニングと評価のアプローチにおける根本的な欠陥を明らかにします。
この論文は、LLM の評価におけるパラダイム シフトを提唱するだけでなく、汎用人工知能 (AGI) への軌道に関する進行中の議論にも貢献します。
私たちと同様のメタ推論評価手法の導入を促進することで、LLM の真の認知能力をより正確に評価できるようにすることを目指しています。

要約(オリジナル)

In this work, we introduce a novel evaluation paradigm for Large Language Models, one that challenges them to engage in meta-reasoning. This approach addresses critical shortcomings in existing math problem-solving benchmarks, traditionally used to evaluate the cognitive capabilities of agents. Our paradigm shifts the focus from result-oriented assessments, which often overlook the reasoning process, to a more holistic evaluation that effectively differentiates the cognitive capabilities among models. For example, in our benchmark, GPT-4 demonstrates a performance ten times more accurate than GPT3-5. The significance of this new paradigm lies in its ability to reveal potential cognitive deficiencies in LLMs that current benchmarks, such as GSM8K, fail to uncover due to their saturation and lack of effective differentiation among varying reasoning abilities. Our comprehensive analysis includes several state-of-the-art math models from both open-source and closed-source communities, uncovering fundamental deficiencies in their training and evaluation approaches. This paper not only advocates for a paradigm shift in the assessment of LLMs but also contributes to the ongoing discourse on the trajectory towards Artificial General Intelligence (AGI). By promoting the adoption of meta-reasoning evaluation methods similar to ours, we aim to facilitate a more accurate assessment of the true cognitive abilities of LLMs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google