None of the Others: a General Technique to Distinguish Reasoning from Memorization in Multiple-Choice LLM Evaluation Benchmarks

要約

LLMの評価では、数学指向の質問に数値のバリエーションを実行することにより、推論がリコール/暗記とは区別されます。
ここでは、以前に見られたトークンまたは概念から正しい答えを完全に分離する多肢選択式の質問の一般的なバリエーション方法を紹介します。
この方法を使用して、英語とスペイン語で利用可能な2つのデータセットで、最先端の独自およびオープンソースLLMを評価します。
結果は、すべてのモデルが提案された変動の下で顕著な精度が低下し、MMLUで平均57％、UNEDアクセス2024で50％で、モデル全体で10％から93％の範囲であることを示しています。
特に、実験で最も正確なモデル（OpenAI-O3-MINI）は最も堅牢ではなく（DeepSeek-R1-70B）、標準評価の最良のモデルは、より良い推論能力を持つものではないことを示唆しています。
また、公共（vsプライベート）データセットと元の言語で提起された質問（手動翻訳）でより大きな精度低下が見られます。これは、汚染の兆候であり、現在のLLMSの回答におけるリコール/暗記の関連する役割を示しています。

要約(オリジナル)

In LLM evaluations, reasoning is often distinguished from recall/memorization by performing numerical variations to math-oriented questions. Here we introduce a general variation method for multiple-choice questions that completely dissociates the correct answer from previously seen tokens or concepts, requiring LLMs to understand and reason (rather than memorizing) in order to answer correctly. Using this method, we evaluate state-of-the-art proprietary and open-source LLMs on two datasets available in English and Spanish: the public MMLU benchmark and the private UNED-Access 2024 dataset. Results show that all models experience remarkable accuracy drops under our proposed variation, with an average loss of 57% on MMLU and 50% on UNED-Access 2024, ranging from 10% to 93% across models. Notably, the most accurate model in our experimentation (OpenAI-o3-mini) is not the most robust (DeepSeek-R1-70B), suggesting that the best models in standard evaluations may not be the ones with better reasoning capabilities. Also, we see larger accuracy drops in public (vs private) datasets and questions posed in their original language (vs a manual translation), which are signs of contamination and also point to a relevant role of recall/memorization in current LLMs’ answers.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google