MinT: Boosting Generalization in Mathematical Reasoning via Multi-View Fine-Tuning

要約

数学的領域での推論は、比較的小規模な言語モデル (LM) にとって依然として大きな課題です。
現在の手法の多くは、LM を数学的推論に特化することに焦点を当てており、強力ではあるが非効率な大規模 LM (LLM) からの知識の蒸留に大きく依存しています。
この研究では、LLM 教師への過度の依存を回避する新しい方向性を模索し、多様な注釈スタイルを持つ既存の数学問題データセットを効率的に活用するマルチビュー微調整手法を導入します。
私たちのアプローチは、さまざまな注釈形式を異なる「ビュー」として独自に考慮し、モデルのトレーニングに活用します。
質問を入力するための明確な指示を後付けすることで、モデルは柔軟な方法でさまざまな形式で解決策を生成する方法を学習できます。
実験結果は、私たちの戦略により、LLaMA-7B モデルが知識の蒸留と慎重に確立されたベースラインを利用する従来のアプローチよりも優れたパフォーマンスを発揮できることを示しています。
さらに、提案された方法は、さまざまなビューやデータセットにわたる汎化能力と、不正確または不完全なノイズのあるデータから学習する能力を約束するモデルを付与します。
私たちのマルチビュー トレーニング パラダイムが、他の機械推論ドメインにおける将来の研究に刺激を与えることができることを願っています。

要約(オリジナル)

Reasoning in mathematical domains remains a significant challenge for relatively small language models (LMs). Many current methods focus on specializing LMs in mathematical reasoning and rely heavily on knowledge distillation from powerful but inefficient large LMs (LLMs). In this work, we explore a new direction that avoids over-reliance on LLM teachers, introducing a multi-view fine-tuning method that efficiently exploits existing mathematical problem datasets with diverse annotation styles. Our approach uniquely considers the various annotation formats as different ‘views’ and leverages them in training the model. By postpending distinct instructions to input questions, models can learn to generate solutions in diverse formats in a flexible manner. Experimental results show that our strategy enables a LLaMA-7B model to outperform prior approaches that utilize knowledge distillation, as well as carefully established baselines. Additionally, the proposed method grants the models promising generalization ability across various views and datasets, and the capability to learn from inaccurate or incomplete noisy data. We hope our multi-view training paradigm could inspire future studies in other machine reasoning domains.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google