Journey to the Center of the Knowledge Neurons: Discoveries of Language-Independent Knowledge Neurons and Degenerate Knowledge Neurons

要約

事前トレーニングされた言語モデル (PLM) には膨大な量の事実の知識が含まれていますが、その知識がパラメーターにどのように保存されるかは不明のままです。
この論文では、事実の知識が多言語 PLM にどのように保存されるかを理解するという複雑なタスクを詳しく掘り下げ、アーキテクチャに適応した多言語統合勾配手法を紹介します。この手法は、現在の手法と比較して知識ニューロンをより正確にローカライズすることに成功し、さまざまなアーキテクチャや言語にわたってより汎用的です。
。
さらに、知識ニューロンの徹底的な探索を行い、次の 2 つの重要な発見に至りました。 (1) 言語を超えた形で事実の知識を保存する言語非依存知識ニューロンの発見。
私たちは言語を越えた知識編集実験を設計し、PLM が言語に依存しないニューロンに基づいてこのタスクを実行できることを実証します。
(2) 異なる知識ニューロンが同じ事実を保存できることを示す新しいタイプのニューロンである縮退知識ニューロンの発見。
機能的に重複するというその特性により、PLM は事実に関する知識をしっかりと習得することができます。
私たちは事実確認実験を設計し、縮退した知識ニューロンが PLM による誤った事実の検出に役立つことを証明しました。
実験はこれらの発見を裏付け、多言語 PLM における事実知識の保存メカニズムに光を当て、この分野に貴重な洞察を提供します。
ソースコードはさらなる研究のために公開される予定です。

要約(オリジナル)

Pre-trained language models (PLMs) contain vast amounts of factual knowledge, but how the knowledge is stored in the parameters remains unclear. This paper delves into the complex task of understanding how factual knowledge is stored in multilingual PLMs, and introduces the Architecture-adapted Multilingual Integrated Gradients method, which successfully localizes knowledge neurons more precisely compared to current methods, and is more universal across various architectures and languages. Moreover, we conduct an in-depth exploration of knowledge neurons, leading to the following two important discoveries: (1) The discovery of Language-Independent Knowledge Neurons, which store factual knowledge in a form that transcends language. We design cross-lingual knowledge editing experiments, demonstrating that the PLMs can accomplish this task based on language-independent neurons; (2) The discovery of Degenerate Knowledge Neurons, a novel type of neuron showing that different knowledge neurons can store the same fact. Its property of functional overlap endows the PLMs with a robust mastery of factual knowledge. We design fact-checking experiments, proving that the degenerate knowledge neurons can help the PLMs to detect wrong facts. Experiments corroborate these findings, shedding light on the mechanisms of factual knowledge storage in multilingual PLMs, and contribute valuable insights to the field. The source code will be made publicly available for further research.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google