ECLeKTic: a Novel Challenge Set for Evaluation of Cross-Lingual Knowledge Transfer

要約

言語間で公平なパフォーマンスを実現するには、多言語モデル（LLMS）が獲得された言語を超えて知識を抽象化できる必要があります。
ただし、現在の文献には、LLMSの言語間知識移転の能力を測定する信頼できる方法がありません。
そのために、単純なブラックボックスの方法で言語間の知識移転を評価する多言語閉会会QA（CBQA）データセットであるEclekticを提示します。
12の言語でのウィキペディア記事の存在と不在を制御することにより、言語間で不均一なカバレッジで情報を検出しました。
ソース言語で知識を求める質問を生成しました。この質問では、関連するウィキペディアの記事に答えが表示され、他のすべての言語に翻訳されました。
WikipediaがLLMのトレーニングデータの顕著な知識を反映していると仮定して、EclekticのCBQAタスクを解決するために、モデルは言語間で知識を転送するために必要です。
8 LLMを実験すると、SOTAモデルは、知識が得られたのと同じ言語のクエリの答えをうまく予測できる場合でも、言語全体で効果的に知識を共有するのに苦労していることを示します。

要約(オリジナル)

To achieve equitable performance across languages, multilingual large language models (LLMs) must be able to abstract knowledge beyond the language in which it was acquired. However, the current literature lacks reliable ways to measure LLMs’ capability of cross-lingual knowledge transfer. To that end, we present ECLeKTic, a multilingual closed-book QA (CBQA) dataset that Evaluates Cross-Lingual Knowledge Transfer in a simple, black-box manner. We detected information with uneven coverage across languages by controlling for presence and absence of Wikipedia articles in 12 languages. We generated knowledge-seeking questions in a source language, for which the answer appears in a relevant Wikipedia article and translated them to all other 11 languages, for which the respective Wikipedias lack equivalent articles. Assuming that Wikipedia reflects the prominent knowledge in the LLM’s training data, to solve ECLeKTic’s CBQA task the model is required to transfer knowledge between languages. Experimenting with 8 LLMs, we show that SOTA models struggle to effectively share knowledge across, languages even if they can predict the answer well for queries in the same language the knowledge was acquired in.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google