On Relation-Specific Neurons in Large Language Models

要約

大規模な言語モデル（LLMS）では、特定のニューロンは、事前に学んだ明確な知識を保存できます。
知識は通常、関係とエンティティの組み合わせとして表示されますが、一部のニューロンが関係そのものに焦点を当てているかどうかは不明のままです – あらゆるエンティティとは無関係です。
このようなニューロンは、そのような関係に関連する入力テキストとガイド生成の関係を検出すると仮定します。
これを調査するために、統計ベースの方法を使用した選択された関係セットでLlama-2ファミリーを研究します。
私たちの実験は、関係固有のニューロンの存在を示しています。
関係$ r $に固有の候補ニューロンを選択的に非アクティブ化する効果を測定します。
関係情報をエンコードする能力に関して、関係固有のニューロンの次の3つの特性の証拠を提供します。
$ \ textbf {（i）ニューロン累積性。} $ $ r $のニューロンは累積効果を示し、それらの大部分を非アクティブ化すると、$ r $でより多くの事実が劣化します。
$ \ textbf {（ii）ニューロンの汎用性。} $ニューロンは、複数の密接に関連する関係と関連性の低い関係で共有できます。
いくつかの関係ニューロンは言語を越えて転送します。
$ \ textbf {（iii）ニューロン干渉
コードをhttps://github.com/cisnlp/relation-pecific-neuronsで公開します。

要約(オリジナル)

In large language models (LLMs), certain neurons can store distinct pieces of knowledge learned during pretraining. While knowledge typically appears as a combination of relations and entities, it remains unclear whether some neurons focus on a relation itself — independent of any entity. We hypothesize such neurons detect a relation in the input text and guide generation involving such a relation. To investigate this, we study the Llama-2 family on a chosen set of relations with a statistics-based method. Our experiments demonstrate the existence of relation-specific neurons. We measure the effect of selectively deactivating candidate neurons specific to relation $r$ on the LLM’s ability to handle (1) facts whose relation is $r$ and (2) facts whose relation is a different relation $r’ \neq r$. With respect to their capacity for encoding relation information, we give evidence for the following three properties of relation-specific neurons. $\textbf{(i) Neuron cumulativity.}$ The neurons for $r$ present a cumulative effect so that deactivating a larger portion of them results in the degradation of more facts in $r$. $\textbf{(ii) Neuron versatility.}$ Neurons can be shared across multiple closely related as well as less related relations. Some relation neurons transfer across languages. $\textbf{(iii) Neuron interference.}$ Deactivating neurons specific to one relation can improve LLM generation performance for facts of other relations. We will make our code publicly available at https://github.com/cisnlp/relation-specific-neurons.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google