Optimizing Language Augmentation for Multilingual Large Language Models: A Case Study on Korean

要約

大規模言語モデル (LLM) は、事前トレーニングを使用して後続の単語を予測します。
ただし、その拡張には大量のコンピューティング リソースが必要です。
多くの大手テクノロジー企業や研究機関は、リソースの少ない言語 (LRL) を無視して、現在の需要を満たすために多言語 LLM (MLLM) を開発しました。
この研究では、公的に入手可能な MLLM に基づいて LRL のパフォーマンスを向上させる 3 つの戦略を提案しました。
まず、表現力を高めるために、LRL の MLLM 語彙が拡張されました。
次に、リソースの多い言語と少ない言語を調整するための事前トレーニングにバイリンガル データが使用されました。
3 番目に、高品質の小規模命令データセットが構築され、命令チューニングが実行されて LRL が強化されました。
実験では Llama2 モデルが使用され、LRL として韓国語が使用され、8 つのタスクにわたって他の開発された LLM に対して定量的に評価されました。
さらに、人による評価とGPT4に基づいて定性評価を実施しました。
実験結果は、私たちが提案したBllossomモデルが、以前に提案された韓国語単言語モデルと比較して、定性分析において優れたパフォーマンスを示すことを示しました。

要約(オリジナル)

Large language models (LLMs) use pretraining to predict the subsequent word; however, their expansion requires significant computing resources. Numerous big tech companies and research institutes have developed multilingual LLMs (MLLMs) to meet current demands, overlooking less-resourced languages (LRLs). This study proposed three strategies to enhance the performance of LRLs based on the publicly available MLLMs. First, the MLLM vocabularies of LRLs were expanded to enhance expressiveness. Second, bilingual data were used for pretraining to align the high- and less-resourced languages. Third, a high-quality small-scale instruction dataset was constructed and instruction-tuning was performed to augment the LRL. The experiments employed the Llama2 model and Korean was used as the LRL, which was quantitatively evaluated against other developed LLMs across eight tasks. Furthermore, a qualitative assessment was performed based on human evaluation and GPT4. Experimental results showed that our proposed Bllossom model exhibited superior performance in qualitative analyses compared to previously proposed Korean monolingual models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google