Unlocking the Potential of Model Merging for Low-Resource Languages

要約

大規模言語モデル (LLM) を新しい言語に適応させるには、通常、継続的な事前トレーニング (CT) とそれに続く教師あり微調整 (SFT) が必要になります。
ただし、この CT から SFT へのアプローチは、低リソース言語のコンテキストで限られたデータに対処するのに苦労し、言語モデリングとタスク解決機能のバランスをとることができません。
したがって、リソースの少ない言語の代替として、追加のトレーニングを行わずに、異なる機能を持つモデルを単一のモデルに結合するモデル マージを提案します。
モデル マージを使用して、ターゲット言語の SFT データを使用せずに、低リソース言語向けのタスク解決 LLM を開発します。
Llama-2-7B に基づく私たちの実験では、モデルのマージにより、低リソース言語の LLM にタスク解決能力が効果的に付与され、データが非常に乏しいシナリオでは CT の次に SFT を上回るパフォーマンスが得られることが実証されました。
より多くのトレーニング トークンを使用したモデルのマージにおけるパフォーマンスの飽和を観察し、マージ プロセスをさらに分析し、重要なパラメーターの損失を軽減するためにモデルのマージ アルゴリズムにスラック変数を導入して、パフォーマンスを向上させます。
私たちは、モデルのマージがより高いデータ効率により、データ不足に悩むより多くの人間の言語に利益をもたらすことを願っています。

要約(オリジナル)

Adapting large language models (LLMs) to new languages typically involves continual pre-training (CT) followed by supervised fine-tuning (SFT). However, this CT-then-SFT approach struggles with limited data in the context of low-resource languages, failing to balance language modeling and task-solving capabilities. We thus propose model merging as an alternative for low-resource languages, combining models with distinct capabilities into a single model without additional training. We use model merging to develop task-solving LLMs for low-resource languages without SFT data in the target languages. Our experiments based on Llama-2-7B demonstrate that model merging effectively endows LLMs for low-resource languages with task-solving abilities, outperforming CT-then-SFT in scenarios with extremely scarce data. Observing performance saturation in model merging with more training tokens, we further analyze the merging process and introduce a slack variable to the model merging algorithm to mitigate the loss of important parameters, thereby enhancing performance. We hope that model merging can benefit more human languages suffering from data scarcity with its higher data efficiency.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google