Describe-then-Reason: Improving Multimodal Mathematical Reasoning through Visual Comprehension Training

要約

オープンソースのマルチモーダル大規模言語モデル (MLLM) は、テキスト入力やビジュアル入力を伴うさまざまなタスクには優れていますが、依然として複雑なマルチモーダル数学的推論には苦労しており、GPT-4V(ision) や Gemini-Pro などの独自モデルに遅れをとっています。
中間ステップ (つまり理論的根拠) による微調整は数学的推論スキルをある程度引き出しますが、視覚中心の監視が不十分であるため、結果として得られるモデルはまだ視覚的な理解が不十分であり、数学的数値の不正確な解釈につながります。
この問題に対処するために、数学的推論学習に加えて視覚的理解トレーニングに重点を置く 2 ステップのトレーニング パイプライン VCAR を提案します。
まず、視覚的な説明生成タスクを通じて MLLM の視覚的理解能力を向上させ、その後、説明の助けを借りて理論的根拠を生成する別のトレーニング ステップが続きます。
2 つの一般的なベンチマークの実験結果は、VCAR が理論的監視のみに依存するベースライン手法、特に視覚的要求が高い問題に対して大幅に優れていることを示しています。

要約(オリジナル)

Open-source multimodal large language models (MLLMs) excel in various tasks involving textual and visual inputs but still struggle with complex multimodal mathematical reasoning, lagging behind proprietary models like GPT-4V(ision) and Gemini-Pro. Although fine-tuning with intermediate steps (i.e., rationales) elicits some mathematical reasoning skills, the resulting models still fall short in visual comprehension due to inadequate visual-centric supervision, which leads to inaccurate interpretation of math figures. To address this issue, we propose a two-step training pipeline VCAR, which emphasizes the Visual Comprehension training in Addition to mathematical Reasoning learning. It first improves the visual comprehension ability of MLLMs through the visual description generation task, followed by another training step on generating rationales with the assistance of descriptions. Experimental results on two popular benchmarks demonstrate that VCAR substantially outperforms baseline methods solely relying on rationale supervision, especially on problems with high visual demands.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google