Challenges in Adapting Multilingual LLMs to Low-Resource Languages using LoRA PEFT Tuning

要約

大規模言語モデル (LLM) は優れた多言語機能を実証していますが、これらのモデルを低リソース言語に適応させるには依然として課題が残っています。
この研究では、リソースが限られているマラーティー語の多言語 Gemma モデルに対する低ランク適応 (LoRA) パラメーター効率微調整 (PEFT) の効果を調査します。
52,000 の命令と応答のペアを含む翻訳された Alpaca データセットを使用した結果、評価指標では微調整後のパフォーマンスの低下が示されることが多い一方、手動評価では微調整されたモデルが元のモデルよりも優れていることが頻繁に示唆されることが判明しました。
この観察結果は、ターゲット言語の生成能力は向上したが、言語適応後の推論能力は低下したことを示しています。
これらの結果は、低リソース設定で言語固有のモデルのパフォーマンスを正確に評価するには、評価方法の改善と高品質のネイティブ データセットの作成の必要性を強調しています。

要約(オリジナル)

Large Language Models (LLMs) have demonstrated remarkable multilingual capabilities, yet challenges persist in adapting these models for low-resource languages. In this study, we investigate the effects of Low-Rank Adaptation (LoRA) Parameter-Efficient Fine-Tuning (PEFT) on multilingual Gemma models for Marathi, a language with limited resources. Using a translated Alpaca dataset with 52,000 instruction-response pairs, our findings reveal that while evaluation metrics often show a performance decline post-fine-tuning, manual assessments frequently suggest that the fine-tuned models outperform their original counterparts. The observations indicate improvements in target language generation capabilities but a reduction in reasoning abilities following language adaptation. These results underscore the need for improved evaluation methodologies and the creation of high-quality native datasets to accurately assess language-specific model performance in low-resource settings.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google