BertaQA: How Much Do Language Models Know About Local Culture?

要約

大規模言語モデル (LLM) は世界に関する広範な知識を示しますが、ほとんどの評価は世界的または英国中心の主題に限定されてきました。
このため、Web 上での存在がそれほど目立たない他の文化に関連するトピックに対して、これらのモデルがどの程度うまく機能するかという疑問が生じます。
このギャップに対処するために、英語とバスク語に対応した多肢選択トリビア データセットである BertaQA を導入します。
データセットは、バスク文化に関連する質問を含むローカル サブセットと、より広範な関心のある質問を含むグローバル サブセットで構成されます。
最先端の LLM は、グローバルなトピックでは優れているにもかかわらず、ローカルな文化的知識に苦労していることがわかりました。
ただし、バスク語で事前トレーニングを継続すると、英語でクエリされた場合でも、バスク文化に関するモデルのパフォーマンスが大幅に向上することがわかりました。
私たちの知る限り、これは低リソース言語から高リソース言語への知識の移転を示す最初の確実な証拠です。
私たちの分析は、言語と知識の間の複雑な相互作用に光を当て、地域的なトピックについて再評価すると、以前の調査結果の一部が完全には当てはまらないことを明らかにしました。
データセットと評価コードは、https://github.com/juletx/BertaQA でオープン ライセンスの下で入手できます。

要約(オリジナル)

Large Language Models (LLMs) exhibit extensive knowledge about the world, but most evaluations have been limited to global or anglocentric subjects. This raises the question of how well these models perform on topics relevant to other cultures, whose presence on the web is not that prominent. To address this gap, we introduce BertaQA, a multiple-choice trivia dataset that is parallel in English and Basque. The dataset consists of a local subset with questions pertinent to the Basque culture, and a global subset with questions of broader interest. We find that state-of-the-art LLMs struggle with local cultural knowledge, even as they excel on global topics. However, we show that continued pre-training in Basque significantly improves the models’ performance on Basque culture, even when queried in English. To our knowledge, this is the first solid evidence of knowledge transfer from a low-resource to a high-resource language. Our analysis sheds light on the complex interplay between language and knowledge, and reveals that some prior findings do not fully hold when reassessed on local topics. Our dataset and evaluation code are available under open licenses at https://github.com/juletx/BertaQA.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google