CMM-Math: A Chinese Multimodal Math Dataset To Evaluate and Enhance the Mathematics Reasoning of Large Multimodal Models

要約

大規模言語モデル (LLM) は、人間の知能の基礎となるスキルである数学的推論において有望な結果を獲得しています。
これまでの研究のほとんどは、テキストの数学推論データセット (MATH、GSM8K など) に基づいた LLM のパフォーマンスの改善と測定に焦点を当てていました。
最近、数人の研究者が、大規模マルチモーダル モデル (LMM) の有効性を評価するために、英語のマルチモーダル数学データセット (MATHVISTA や MATH-V など) をリリースしました。
このペーパーでは、LMM の数学的推論を評価および強化するために、ベンチマークおよびトレーニング部分を含む中国マルチモーダル数学 (CMM-Math) データセットをリリースします。
CMM-Math には 28,000 を超える高品質のサンプルが含まれており、中国の小学校から高校までの 12 学年レベルにわたるさまざまなタイプの問題 (多肢選択問題、穴埋め問題など) と詳細な解決策が特徴です。
。
具体的には、視覚的なコンテキストが質問や意見に含まれる可能性があり、このデータセットがより困難になります。
包括的な分析を通じて、CMM-Math データセット上の最先端の LMM が課題に直面していることが判明し、LMM 開発のさらなる改善の必要性が強調されています。
また、複数の画像とテキストセグメントの混合入力の問題を処理するためのマルチモーダル数学 LMM (Math-LMM) も提案します。
基礎的な事前トレーニング、基礎的な微調整、数学的な微調整を含む 3 つの段階を使用してモデルをトレーニングします。
広範な実験により、私たちのモデルが 3 つのマルチモーダル数学データセットにわたる SOTA LMM と比較することにより、数学推論のパフォーマンスが効果的に向上することが示されました。

要約(オリジナル)

Large language models (LLMs) have obtained promising results in mathematical reasoning, which is a foundational skill for human intelligence. Most previous studies focus on improving and measuring the performance of LLMs based on textual math reasoning datasets (e.g., MATH, GSM8K). Recently, a few researchers have released English multimodal math datasets (e.g., MATHVISTA and MATH-V) to evaluate the effectiveness of large multimodal models (LMMs). In this paper, we release a Chinese multimodal math (CMM-Math) dataset, including benchmark and training parts, to evaluate and enhance the mathematical reasoning of LMMs. CMM-Math contains over 28,000 high-quality samples, featuring a variety of problem types (e.g., multiple-choice, fill-in-the-blank, and so on) with detailed solutions across 12 grade levels from elementary to high school in China. Specifically, the visual context may be present in the questions or opinions, which makes this dataset more challenging. Through comprehensive analysis, we discover that state-of-the-art LMMs on the CMM-Math dataset face challenges, emphasizing the necessity for further improvements in LMM development. We also propose a Multimodal Mathematical LMM (Math-LMM) to handle the problems with mixed input of multiple images and text segments. We train our model using three stages, including foundational pre-training, foundational fine-tuning, and mathematical fine-tuning. The extensive experiments indicate that our model effectively improves math reasoning performance by comparing it with the SOTA LMMs over three multimodal mathematical datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google