Identifying Query-Relevant Neurons in Large Language Models for Long-Form Texts

要約

大規模言語モデル (LLM) はパラメータ内に膨大な量の知識を保持しているため、この知識を見つけて編集する方法の研究が促されています。
これまでの研究は主に、より小さなモデル内でエンティティ関連の (多くの場合、単一トークンの) ファクトを特定することに焦点を当てていました。
しかし、いくつかの重要な質問は未解決のままです: (1) Llama や Mistral などの現代の自己回帰 LLM でクエリ関連ニューロンを効率的に見つけるにはどうすればよいでしょうか?
(2) 長い形式のテキスト生成の課題にどのように対処できるでしょうか?
(3) LLM にはローカライズされた知識領域がありますか?
この研究では、LLM 内のクエリ関連ニューロンを識別できる新しいアーキテクチャに依存しないフレームワークであるクエリ関連ニューロン クラスター アトリビューション (QRNCA) を紹介します。
QRNCA では、多肢選択式質問応答の代理タスクを採用することで、3 要素の事実を超えた長文の回答の検査が可能になります。
検出されたニューロンの有効性を評価するために、さまざまなドメインと言語にわたる 2 つの多肢選択 QA データセットを構築します。
経験的評価により、私たちの方法がベースライン方法を大幅に上回ることが実証されています。
さらに、ニューロン分布の分析により、特に異なるドメイン内に目に見える局所領域の存在が明らかになります。
最後に、検出したニューロンの知識編集とニューロンベースの予測への応用の可能性を示します。

要約(オリジナル)

Large Language Models (LLMs) possess vast amounts of knowledge within their parameters, prompting research into methods for locating and editing this knowledge. Previous work has largely focused on locating entity-related (often single-token) facts in smaller models. However, several key questions remain unanswered: (1) How can we effectively locate query-relevant neurons in contemporary autoregressive LLMs, such as Llama and Mistral? (2) How can we address the challenge of long-form text generation? (3) Are there localized knowledge regions in LLMs? In this study, we introduce Query-Relevant Neuron Cluster Attribution (QRNCA), a novel architecture-agnostic framework capable of identifying query-relevant neurons in LLMs. QRNCA allows for the examination of long-form answers beyond triplet facts by employing the proxy task of multi-choice question answering. To evaluate the effectiveness of our detected neurons, we build two multi-choice QA datasets spanning diverse domains and languages. Empirical evaluations demonstrate that our method outperforms baseline methods significantly. Further, analysis of neuron distributions reveals the presence of visible localized regions, particularly within different domains. Finally, we show potential applications of our detected neurons in knowledge editing and neuron-based prediction.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google