Language Representation Projection: Can We Transfer Factual Knowledge across Languages in Multilingual Language Models?

要約

多言語の事前トレーニング済み言語モデルは、多言語の事実知識のリポジトリとして機能します。
それにもかかわらず、高リソース言語と低リソース言語の間には、事実知識の調査のパフォーマンスに大きなギャップが存在し、多言語の事前トレーニング済み言語モデルにおける言語間での暗黙的な事実知識の伝達が限られていることを示唆しています。
この論文は、比較的豊富な事実知識を英語から英語以外の言語に明示的に転送する実現可能性を調査します。
これを達成するために、パラメータなしの 2 つの $\textbf{L}$anguage $\textbf{R}$epresentation $\textbf{P}$rojection モジュール (LRP2) を提案します。
最初のモジュールは非英語表現を英語に似た表現に変換し、2 番目のモジュールは英語に似た表現を対応する非英語言語の表現に戻します。
mLAMA データセットの実験結果は、LR​​P2 が事実知識の検索精度を大幅に向上させ、英語以外の多様な言語間での知識の伝達性を促進することを示しています。
私たちは、表現空間と言語間知識ニューロンの観点から、LRP2 の動作メカニズムをさらに調査します。

要約(オリジナル)

Multilingual pretrained language models serve as repositories of multilingual factual knowledge. Nevertheless, a substantial performance gap of factual knowledge probing exists between high-resource languages and low-resource languages, suggesting limited implicit factual knowledge transfer across languages in multilingual pretrained language models. This paper investigates the feasibility of explicitly transferring relatively rich factual knowledge from English to non-English languages. To accomplish this, we propose two parameter-free $\textbf{L}$anguage $\textbf{R}$epresentation $\textbf{P}$rojection modules (LRP2). The first module converts non-English representations into English-like equivalents, while the second module reverts English-like representations back into representations of the corresponding non-English language. Experimental results on the mLAMA dataset demonstrate that LRP2 significantly improves factual knowledge retrieval accuracy and facilitates knowledge transferability across diverse non-English languages. We further investigate the working mechanism of LRP2 from the perspectives of representation space and cross-lingual knowledge neuron.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google