MuggleMath: Assessing the Impact of Query and Response Augmentation on Math Reasoning

要約

大規模言語モデル (LLM) を使用した数学推論では、クエリの進化と多様な推論パスによるデータ拡張の微調整が効果的であることが経験的に検証されており、オープンソースの LLM と最先端の独自の LLM との間のギャップが大幅に狭まります。
この論文では、数学的推論におけるそのようなデータ拡張の調査を実施し、次のことに答えることを目的としています。(1) データ拡張のどの戦略がより効果的であるか。
(2) 拡張データの量とモデルのパフォーマンスの間のスケーリング関係は何ですか。
(3) データ拡張は、領域外の数学的推論タスクへの一般化を奨励できるか?
この目的を達成するために、クエリを複雑化して多様化し、GSM8K と MATH から複数の推論パスをサンプリングすることにより、2 つの新しいデータセット AugGSM8K と AugMATH を作成します。
AugGSM8K と AugMATH で LLaMA モデルを微調整することにより、MuggleMath と呼ばれる一連の LLM を取得しました。
MuggleMath は、GSM8K と MATH に関して新しい最先端を実質的に実現します。
MuggleMath のパフォーマンスと GSM8K および MATH 上の拡張データ量の間には、対数線形関係とセグメント化された対数線形関係がそれぞれ示されています。
また、AugGSM8K から MATH へ、および AugMATH から GSM8K へのドメイン外の数学推論の一般化にも弱いことがわかりました。これは、より広範囲の主題をカバーするクエリを強化することが一般化にとってより有益であることを示唆しています。
コードと拡張データは https://github.com/OFA-Sys/gsm8k-ScRel でリリースされます。

要約(オリジナル)

In math reasoning with large language models (LLMs), fine-tuning data augmentation by query evolution and diverse reasoning paths is empirically verified effective, profoundly narrowing the gap between open-sourced LLMs and cutting-edge proprietary LLMs. In this paper, we conduct an investigation for such data augmentation in math reasoning and are intended to answer: (1) What strategies of data augmentation are more effective; (2) What is the scaling relationship between the amount of augmented data and model performance; and (3) Can data augmentation incentivize generalization to out-of-domain mathematical reasoning tasks? To this end, we create two new dataset AugGSM8K and AugMATH, by complicating and diversifying the queries and sampling multiple reasoning paths from GSM8K and MATH. We obtained a series of LLMs called MuggleMath by fine-tuning LLaMA models on AugGSM8K and AugMATH. MuggleMath substantially achieves new state-of-the-art on GSM8K and MATH. A log-linear relationship and a segmented log-linear are presented between MuggleMath’s performance and the amount of augmented data on GSM8K and MATH, respectively. We also find that it is weak in out-of-domain math reasoning generalization from AugGSM8K to MATH and from AugMATH to GSM8K, which suggests that augmenting queries that cover a broader range of subjects is more beneficial for generalization. We release our codes and augmented data in https://github.com/OFA-Sys/gsm8k-ScRel.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google