Quantifying Multilingual Performance of Large Language Models Across Languages

要約

大規模言語モデル (LLM) のトレーニング プロセスには、広範なテキスト コーパスが必要です。
ただし、これらのデータはさまざまな言語に不均一に分散していることがよくあります。
その結果、LLM は英語、ドイツ語、フランス語などの一般的な言語では良好なパフォーマンスを発揮しますが、リソースの少ない言語ではパフォーマンスが低下します。
ただし、現時点では、低リソース言語での LLM のパフォーマンスを定量的に測定する作業はありません。
このギャップを埋めるために、さまざまな言語の LLM のパフォーマンスに応じて、さまざまな言語をベンチマークしてランク付けすることを目的とした Language Ranker を提案しました。
英語コーパスにおける LLM のパフォーマンスをベースラインとして使用し、さまざまな言語と英語のパフォーマンスを比較します。
次の 3 つの結果が得られました。 1. すべての言語におけるさまざまな LLM のパフォーマンス ランキングはほぼ同じです。
2. サイズが異なる LLM のパフォーマンスの部分的な順序は同じです。
3. さまざまな言語での LlaMa2 のパフォーマンスと事前トレーニング コーパスの割合の間には強い相関関係があります。
これらの発見は、Language Ranker が LLM の言語パフォーマンスを測定する指標として使用できることを示しています。

要約(オリジナル)

The training process of Large Language Models (LLMs) requires extensive text corpus. However, these data are often unevenly distributed in different languages. As a result, LLMs perform well on common languages, such as English, German, and French, but perform poorly on low-resource languages. However, currently there is no work to quantitatively measure the performance of LLMs in low-resource languages. To fill this gap, we proposed the Language Ranker that aims to benchmark and rank different languages according to the performance of LLMs on those languages. We employ the LLM’s performance on the English corpus as a baseline to compare the performances of different languages and English. We have the following three findings: 1. The performance rankings of different LLMs in all languages are roughly the same. 2. LLMs with different sizes have the same partial order of performance. 3. There is a strong correlation between LlaMa2’s performance in different languages and the proportion of the pre-training corpus. These findings illustrate that the Language Ranker can be used as an indicator to measure the language performance of LLMs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google