Key-Point-Driven Data Synthesis with its Enhancement on Mathematical Reasoning

要約

大規模言語モデル (LLM) は、複雑な推論タスクにおいて大きな可能性を示していますが、推論に焦点を当てた高品質のトレーニング データセットの不足により、そのパフォーマンスが妨げられることがよくあります。
この課題に対処するために、私たちはキーポイント駆動データ合成 (KPDDS) を提案します。これは、本物のデータ ソースからのキー ポイントと模範的な実践を活用して質問と回答のペアを合成する新しいデータ合成フレームワークです。
KPDDS は、厳格な品質管理と大幅な拡張性を備えた新しい質問の生成を保証します。
その結果、80 万を超える質問と回答のペアで構成される、数学的推論用に調整された広範な合成データセットである KPMath を紹介します。
KPMath を利用し、推論集約型コーパスを追加して拡張することで、包括的な KPMath-Plus データセットを作成します。
KPMath-Plus の微調整された DeepSeekMath モデルは、GSM8K で 83.9%、MATH で 48.8% のゼロショット PASS@1 精度を達成し、他の数的推論データセットでも有望なパフォーマンスに達し、7B ～ 70B の範囲で競合他社を上回ります。

要約(オリジナル)

Large language models (LLMs) have shown great potential in complex reasoning tasks, yet their performance is often hampered by the scarcity of high-quality and reasoning-focused training datasets. Addressing this challenge, we propose Key-Point-Driven Data Synthesis (KPDDS), a novel data synthesis framework that synthesizes question-answer pairs by leveraging key points and exemplar practices from authentic data sources. KPDDS ensures the generation of novel questions with rigorous quality control and substantial scalability. As a result, we present KPMath, an extensive synthetic dataset tailored for mathematical reasoning, comprising over 800K question-answer pairs. Utilizing KPMath and augmenting it with additional reasoning-intensive corpora, we create the comprehensive KPMath-Plus dataset. The fine-tuned DeepSeekMath model on KPMath-Plus achieves zero-shot PASS@1 accuracies of 83.9% on GSM8K and 48.8% on MATH, and also reaches promising performance on other math reasoning datasets, outperforming competitors in the 7B to 70B range.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google