ECLeKTic: a Novel Challenge Set for Evaluation of Cross-Lingual Knowledge Transfer

要約

言語間で公平なパフォーマンスを達成するためには、多言語大規模言語モデル（LLM）は、知識を習得した言語を超えて知識を抽象化できなければならない。しかし、現在の文献には、LLMの言語横断的な知識伝達能力を測定する信頼できる方法が欠けている。そこで我々は、多言語クローズドブックQA（CBQA）データセットであるECLeKTicを提示し、シンプルでブラックボックスな方法でクロスリンガル知識伝達を評価する。我々は、12言語のウィキペディア記事の有無を制御することで、言語間で不均一なカバレッジを持つ情報を検出した。我々は、ウィキペディアの関連記事に答えが掲載されているソース言語で知識を求める質問を生成し、それぞれのウィキペディアに同等の記事がない他の11言語すべてに翻訳した。ウィキペディアがLLMの学習データにおける顕著な知識を反映していると仮定すると、ECLeKTicのCBQAタスクを解くためには、言語間で知識を伝達するモデルが必要となる。8つのLLMで実験した結果、SOTAモデルは、知識を獲得した言語と同じ言語でのクエリに対してうまく答えを予測できたとしても、言語間で効果的に知識を共有することに苦労することがわかった。

要約(オリジナル)

To achieve equitable performance across languages, multilingual large language models (LLMs) must be able to abstract knowledge beyond the language in which it was acquired. However, the current literature lacks reliable ways to measure LLMs’ capability of cross-lingual knowledge transfer. To that end, we present ECLeKTic, a multilingual closed-book QA (CBQA) dataset that Evaluates Cross-Lingual Knowledge Transfer in a simple, black-box manner. We detected information with uneven coverage across languages by controlling for presence and absence of Wikipedia articles in 12 languages. We generated knowledge-seeking questions in a source language, for which the answer appears in a relevant Wikipedia article and translated them to all other 11 languages, for which the respective Wikipedias lack equivalent articles. Assuming that Wikipedia reflects the prominent knowledge in the LLM’s training data, to solve ECLeKTic’s CBQA task the model is required to transfer knowledge between languages. Experimenting with 8 LLMs, we show that SOTA models struggle to effectively share knowledge across, languages even if they can predict the answer well for queries in the same language the knowledge was acquired in.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL