Breaking Language Barriers in Multilingual Mathematical Reasoning: Insights and Observations

要約

既存の研究は主に、単言語言語内での数学的推論のための強力な言語学習モデル (LLM) の開発に焦点を当てており、多言語コンテキストで有効性を維持することについてはほとんど調査されていません。
このギャップを埋めるために、この文書では、強力な多言語数学推論 (xMR) LLM の探索とトレーニングの先駆者となります。
まず、翻訳を利用することで、10 の異なる言語を含む初の多言語数学推論命令データセット MGSM8KInstruct を構築し、xMR タスクにおけるトレーニング データ不足の問題に対処します。
収集されたデータセットに基づいて、MathOctopus という名前の強力な xMR LLM を構築するためのさまざまなトレーニング戦略を提案します。これは、特に従来のオープンソース LLM を上回り、数ショットのシナリオで ChatGPT を上回る優位性を示します。
特に、MathOctopus-13B は 47.6% の精度に達し、MGSM テストセットで ChatGPT の 46.3% を上回っています。
注目に値する結果のほかに、広範な実験からいくつかの重要な観察と洞察を発掘します。 (1) 拒絶サンプリング戦略を多言語コンテキストに拡張すると、限定的ではあるものの、モデルのパフォーマンスに効果的であることがわかります。
(2) 複数言語にわたる数学教師付きファインチューニング (SFT) に並列コーパスを採用すると、モデルの多言語パフォーマンスが大幅に向上するだけでなく、単言語パフォーマンスも向上します。
これは、多言語コーパスの作成が、特に数学的推論タスクにおいて、特定の言語でのモデルのパフォーマンスを向上させるための重要な戦略と見なすことができることを示しています。
たとえば、MathOctopus-7B は、英語でトレーニングした対応物を GSM8K テストセットで 42.2% から 50.8% に向上させます。

要約(オリジナル)

Existing research predominantly focuses on developing powerful language learning models (LLMs) for mathematical reasoning within monolingual languages, with few explorations in preserving efficacy in a multilingual context. To bridge this gap, this paper pioneers exploring and training powerful Multilingual Math Reasoning (xMR) LLMs. Firstly, by utilizing translation, we construct the first multilingual math reasoning instruction dataset, MGSM8KInstruct, encompassing ten distinct languages, thus addressing the issue of training data scarcity in xMR tasks. Based on the collected dataset, we propose different training strategies to build powerful xMR LLMs, named MathOctopus, notably outperform conventional open-source LLMs and exhibit superiority over ChatGPT in few-shot scenarios. Notably, MathOctopus-13B reaches 47.6% accuracy which exceeds ChatGPT 46.3% on MGSM testset. Beyond remarkable results, we unearth several pivotal observations and insights from extensive experiments: (1) When extending the rejection sampling strategy to the multilingual context, it proves effective for model performances, albeit limited. (2) Employing parallel corpora for math Supervised Fine-Tuning (SFT) across multiple languages not only significantly enhances model performance multilingually but also elevates their monolingual performance. This indicates that crafting multilingual corpora can be regarded as a vital strategy for enhancing model performance in a specific language, especially in mathematical reasoning tasks. For instance, MathOctopus-7B improves its counterparts that trained on English from 42.2% to 50.8% on GSM8K testset.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google