Is Your Model Really A Good Math Reasoner? Evaluating Mathematical Reasoning with Checklist

要約

卓越した数学的推論能力は、大規模言語モデル (LLM) の能力を示す重要な機能の 1 つです。
LLM の数学的能力を包括的に定義および評価する方法、さらには現実世界のシナリオでのユーザー エクスペリエンスを反映する方法が、重要な問題として浮上しています。
現在のベンチマークは主に問題解決能力に重点を置いているため、モデルの過剰適合の大きなリスクがあり、真の数学的推論能力を正確に表すことができません。
この論文では、モデルが問題を本当に理解しているのであれば、そのモデルはさまざまなタスクにわたって堅牢かつ容易に適用できるはずであると主張します。
これを動機として、タスクの一般化と推論の堅牢性をテストするための適切に設計されたチェックリスト、およびチェックリストを効率的に生成する自動ツールである MATHCHECK を紹介します。
MATHCHECK には、数学的推論能力と動作テストの両方の包括的な評価を容易にする、複数の数学的推論タスクと堅牢性テスト タイプが含まれています。
MATHCHECK を利用して、数学的なテキスト推論とマルチモーダル推論の機能をそれぞれ評価する MATHCHECK-GSM と MATHCHECK-GEO を開発し、GSM8k、GeoQA、UniGeo、Geometry3K などのベンチマークのアップグレード バージョンとして機能します。
私たちは MATHCHECK-GSM と MATHCHECK-GEO を採用して 20 を超える LLM と 11 の MLLM を評価し、包括的な数学的推論能力を評価します。
私たちの結果は、GPT-4o のようなフロンティア LLM がチェックリストのさまざまな能力で引き続き優れている一方で、他の多くのモデル ファミリが大幅な低下を示していることを示しています。
さらなる実験により、従来の数学ベンチマークと比較して、MATHCHECK は真の数学的能力をより適切に反映し、数学的知性をより線形に表現し、それによって私たちの設計をサポートすることが示されました。
MATHCHECK では、モデルを深く調査するための詳細な動作分析を簡単に実行できます。

要約(オリジナル)

Exceptional mathematical reasoning ability is one of the key features that demonstrate the power of large language models (LLMs). How to comprehensively define and evaluate the mathematical abilities of LLMs, and even reflect the user experience in real-world scenarios, has emerged as a critical issue. Current benchmarks predominantly concentrate on problem-solving capabilities, which presents a substantial risk of model overfitting and fails to accurately represent genuine mathematical reasoning abilities. In this paper, we argue that if a model really understands a problem, it should be robustly and readily applied across a diverse array of tasks. Motivated by this, we introduce MATHCHECK, a well-designed checklist for testing task generalization and reasoning robustness, as well as an automatic tool to generate checklists efficiently. MATHCHECK includes multiple mathematical reasoning tasks and robustness test types to facilitate a comprehensive evaluation of both mathematical reasoning ability and behavior testing. Utilizing MATHCHECK, we develop MATHCHECK-GSM and MATHCHECK-GEO to assess mathematical textual reasoning and multi-modal reasoning capabilities, respectively, serving as upgraded versions of benchmarks including GSM8k, GeoQA, UniGeo, and Geometry3K. We adopt MATHCHECK-GSM and MATHCHECK-GEO to evaluate over 20 LLMs and 11 MLLMs, assessing their comprehensive mathematical reasoning abilities. Our results demonstrate that while frontier LLMs like GPT-4o continue to excel in various abilities on the checklist, many other model families exhibit a significant decline. Further experiments indicate that, compared to traditional math benchmarks, MATHCHECK better reflects true mathematical abilities and represents mathematical intelligence more linearly, thereby supporting our design. On our MATHCHECK, we can easily conduct detailed behavior analysis to deeply investigate models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google