MAPLE: Multilingual Evaluation of Parameter Efficient Finetuning of Large Language Models

要約

Parameter Efficient Finetuning (PEFT) は、大量のリソースとコンピューティングを必要とせずに大規模言語モデル (LLM) のパフォーマンスを向上させるための実行可能なソリューションとして登場しました。
多言語評価に関するこれまでの研究では、英語とその他の言語での LLM のパフォーマンスには大きな差があることが示されています。
さらに、小規模なオープンソース モデルと大規模な LLM のパフォーマンスの間にも大きなギャップがあります。
微調整は、このギャップを埋めて言語モデルをより公平にする効果的な方法です。
この研究では、2 つの合成多言語命令調整データセットで LLama-2-7B モデルと Mistral-7B モデルを微調整し、合計 40 言語をカバーする 6 つの下流タスクにおけるモデルのパフォーマンスへの影響を判断します。
さらに、下流のパフォーマンスへの影響を決定するために、低ランク適応のランクや量子化の値などのさまざまなパラメータを実験し、より高いランクとより高い量子化値が低リソース言語に有利であることを発見しました。
小規模なオープンソース モデルの PEFT は、これらのモデルと大規模なモデルのパフォーマンス間のギャップを埋めることがありますが、英語のパフォーマンスが打撃を受ける可能性があることがわかりました。
また、微調整によって低リソース言語のパフォーマンスが向上する一方で、高リソース言語のパフォーマンスが低下する場合があることもわかりました。

要約(オリジナル)

Parameter Efficient Finetuning (PEFT) has emerged as a viable solution for improving the performance of Large Language Models (LLMs) without requiring massive resources and compute. Prior work on multilingual evaluation has shown that there is a large gap between the performance of LLMs on English and other languages. Further, there is also a large gap between the performance of smaller open-source models and larger LLMs. Finetuning can be an effective way to bridge this gap and make language models more equitable. In this work, we finetune the LLama-2-7B and Mistral-7B models on two synthetic multilingual instruction tuning datasets to determine its effect on model performance on six downstream tasks covering forty languages in all. Additionally, we experiment with various parameters, such as rank for low-rank adaptation and values of quantisation to determine their effects on downstream performance and find that higher rank and higher quantisation values benefit low-resource languages. We find that PEFT of smaller open-source models sometimes bridges the gap between the performance of these models and the larger ones, however, English performance can take a hit. We also find that finetuning sometimes improves performance on low-resource languages, while degrading performance on high-resource languages.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google