MathFusion: Enhancing Mathematic Problem-solving of LLM through Instruction Fusion

要約

大規模な言語モデル（LLM）は、数学的推論において印象的な進歩を示しています。
データの増強は数学的な問題解決能力を高めることを約束していますが、現在のアプローチは、数学的知識に固有の固有の関連構造をキャプチャしてレバレッジできない構文の変動を再形成または生成するなど、インスタンスレベルの変更などに主に制限されています。
相互接続された概念への体系的な露出を通じて数学的習熟度が発達する人間の学習プロセスに触発され、MathFusionを紹介します。MathFusionは、クロスクロスの指導統合を通じて数学的推論を強化する新しいフレームワークを紹介します。
MathFusionは、3つの融合戦略を通じてこれを実装します。（1）関連する問題をモデルソリューションの依存関係に接続します。
（2）類似の問題を組み合わせて概念的理解を強化する並列融合。
（3）条件付き融合。これにより、コンテキスト対応の選択的な問題が発生し、推論の柔軟性が向上します。
これらの戦略を適用することにより、新しいデータセット\ textBf {mathfusionqa}を生成し、その後に微調整されたモデル（deepseekmath-7b、mistral-7b、llama3-8b）が続きます。
実験結果は、数学のフュージョンが高データ効率を維持しながら数学的推論の大幅な改善を達成し、多様なベンチマーク全体で18.0ポイントの精度を高める一方で、従来の単一導入アプローチよりも大幅な改善を表す45Kの追加の合成命令のみを必要とすることを示しています。
データセット、モデル、およびコードは、https：//github.com/qizhipei/mathfusionで公開されています。

要約(オリジナル)

Large Language Models (LLMs) have shown impressive progress in mathematical reasoning. While data augmentation is promising to enhance mathematical problem-solving ability, current approaches are predominantly limited to instance-level modifications-such as rephrasing or generating syntactic variations-which fail to capture and leverage the intrinsic relational structures inherent in mathematical knowledge. Inspired by human learning processes, where mathematical proficiency develops through systematic exposure to interconnected concepts, we introduce MathFusion, a novel framework that enhances mathematical reasoning through cross-problem instruction synthesis. MathFusion implements this through three fusion strategies: (1) sequential fusion, which chains related problems to model solution dependencies; (2) parallel fusion, which combines analogous problems to reinforce conceptual understanding; and (3) conditional fusion, which creates context-aware selective problems to enhance reasoning flexibility. By applying these strategies, we generate a new dataset, \textbf{MathFusionQA}, followed by fine-tuning models (DeepSeekMath-7B, Mistral-7B, Llama3-8B) on it. Experimental results demonstrate that MathFusion achieves substantial improvements in mathematical reasoning while maintaining high data efficiency, boosting performance by 18.0 points in accuracy across diverse benchmarks while requiring only 45K additional synthetic instructions, representing a substantial improvement over traditional single-instruction approaches. Our datasets, models, and code are publicly available at https://github.com/QizhiPei/mathfusion.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google