Facts Do Care About Your Language: Assessing Answer Quality of Multilingual LLMs

要約

事実に忠実であることは、有用な教育ツールの必須条件である。教育における大規模言語モデル（LLM）の採用が拡大し続ける中、あらゆる場面での正確性を確保することが最も重要である。LLMは強力な英語能力を持つにもかかわらず、他の言語での性能はほとんど検証されていない。この研究では、Llama3.1ファミリーのモデルの正しさを、中高生に適した事実問題の解答で評価する。その結果、LLMは余計な情報や真実性の低い情報を提供するだけでなく、希少言語に対する既存のバイアスを悪化させることが明らかになった。

要約(オリジナル)

Factuality is a necessary precursor to useful educational tools. As adoption of Large Language Models (LLMs) in education continues of grow, ensuring correctness in all settings is paramount. Despite their strong English capabilities, LLM performance in other languages is largely untested. In this work, we evaluate the correctness of the Llama3.1 family of models in answering factual questions appropriate for middle and high school students. We demonstrate that LLMs not only provide extraneous and less truthful information, but also exacerbate existing biases against rare languages.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL