Testing Low-Resource Language Support in LLMs Using Language Proficiency Exams: the Case of Luxembourgish

要約

大規模な言語モデル（LLM）は、研究と社会全体でますます重要なツールになっています。
LLMは専門家や一般人によって世界中で定期的に使用されていますが、主に英語を話すユーザーを念頭に置いて開発され、英語やその他の広範な言語でうまく機能しますが、ルクセンブルギッシュなどのリソースの少ない言語は優先度が低いと見られています。
この注意の欠如は、利用可能な評価ツールとデータセットのスパース性にも反映されています。
この研究では、ルクセンブルク語の言語の評価ツールとして、言語習熟試験の実行可能性を調査します。
ChatGpt、Claude、Deepseek-R1などの大規模なモデルは通常、高いスコアを達成し、小さなモデルはパフォーマンスが弱いことを示しています。
また、このような言語試験のパフォーマンスを使用して、他のNLPタスクのパフォーマンスを予測できることもわかります。

要約(オリジナル)

Large Language Models (LLMs) have become an increasingly important tool in research and society at large. While LLMs are regularly used all over the world by experts and lay-people alike, they are predominantly developed with English-speaking users in mind, performing well in English and other wide-spread languages while less-resourced languages such as Luxembourgish are seen as a lower priority. This lack of attention is also reflected in the sparsity of available evaluation tools and datasets. In this study, we investigate the viability of language proficiency exams as such evaluation tools for the Luxembourgish language. We find that large models such as ChatGPT, Claude and DeepSeek-R1 typically achieve high scores, while smaller models show weak performances. We also find that the performances in such language exams can be used to predict performances in other NLP tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google