Tracing the Roots of Facts in Multilingual Language Models: Independent, Shared, and Transferred Knowledge

要約

リソースの少ない言語で言語モデル (LM) に関する事実の知識を取得することは重大な課題であるため、多言語 LM (ML-LM) での言語を越えた伝達に頼ることになります。
この研究では、ML-LM が事実の知識をどのように取得し、表現するかを尋ねます。
多言語の事実知識調査データセット mLAMA を使用して、最初に ML-LM (具体的には多言語 BERT) のニューロン調査を実施しました。
次に、事実のルーツを知識源 (Wikipedia) まで遡って、ML-LM が特定の事実を取得する方法を特定しました。
私たちは最終的に、ML-LM での事実の取得と表現の 3 つのパターン、つまり言語に依存しないパターン、言語を超えた共有および転送パターンを特定し、それらを区別する方法を考案しました。
私たちの調査結果は、言語間で一貫した事実知識を維持するという課題を浮き彫りにし、ML-LM におけるより良い事実表現学習の必要性を強調しています。

要約(オリジナル)

Acquiring factual knowledge for language models (LMs) in low-resource languages poses a serious challenge, thus resorting to cross-lingual transfer in multilingual LMs (ML-LMs). In this study, we ask how ML-LMs acquire and represent factual knowledge. Using the multilingual factual knowledge probing dataset, mLAMA, we first conducted a neuron investigation of ML-LMs (specifically, multilingual BERT). We then traced the roots of facts back to the knowledge source (Wikipedia) to identify the ways in which ML-LMs acquire specific facts. We finally identified three patterns of acquiring and representing facts in ML-LMs: language-independent, cross-lingual shared and transferred, and devised methods for differentiating them. Our findings highlight the challenge of maintaining consistent factual knowledge across languages, underscoring the need for better fact representation learning in ML-LMs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google