Recitation over Reasoning: How Cutting-Edge Language Models Can Fail on Elementary School-Level Reasoning Problems?

要約

近年のLLMベンチマークの難易度の小学校レベルからフロンティアへの急速なエスカレーションは、私たちが人間の知性を上回ることからわずか数インチ離れているという研究者にとって奇跡を織り上げました。
しかし、LLMの顕著な推論能力は、実際に人間の基準による真の知性から来ているのでしょうか、それとも単にインターネットレベルでのトレーニング中に目撃されたソリューションを暗唱しているのでしょうか？
この問題を研究するために、単純な推論の問題を尋ねられたが、条件が微妙に変化し、ベンチマークで実証分析を実施したときに、LLMの朗読行動を検出するための斬新なマルチモーダルベンチマークであるRORベンチを提案します。
驚くべきことに、既存の最先端のLLMが全会一致で非常に深刻な朗読行動を示すことがわかりました。
この条件で1つのフレーズを変更することにより、OpenAI-O1やDeepSeek-R1などのトップモデルは、小学校レベルの算術および推論の問題で60ドルのパフォーマンス損失を被る可能性があります。
このような調査結果は、最先端のLLMの真のインテリジェンスレベルを再評価することを強いるLLMコミュニティへのモーニングコールです。

要約(オリジナル)

The rapid escalation from elementary school-level to frontier problems of the difficulty for LLM benchmarks in recent years have weaved a miracle for researchers that we are only inches away from surpassing human intelligence. However, is the LLMs’ remarkable reasoning ability indeed comes from true intelligence by human standards, or are they simply reciting solutions witnessed during training at an Internet level? To study this problem, we propose RoR-Bench, a novel, multi-modal benchmark for detecting LLM’s recitation behavior when asked simple reasoning problems but with conditions subtly shifted, and conduct empirical analysis on our benchmark. Surprisingly, we found existing cutting-edge LLMs unanimously exhibits extremely severe recitation behavior; by changing one phrase in the condition, top models such as OpenAI-o1 and DeepSeek-R1 can suffer $60\%$ performance loss on elementary school-level arithmetic and reasoning problems. Such findings are a wake-up call to the LLM community that compels us to re-evaluate the true intelligence level of cutting-edge LLMs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google