WISE: Rethinking the Knowledge Memory for Lifelong Model Editing of Large Language Models

要約

大規模言語モデル (LLM) には、増え続ける世界の事実に対応し、幻覚反応を修正して、生涯にわたるモデル編集方法を容易にするための知識の更新が必要です。
更新された知識が記憶のどこに存在するかは、モデル編集の基本的な問題です。
この論文では、長期記憶 (直接的なモデル パラメーター) または作業記憶 (検索によるニューラル ネットワークの活性化/表現に関するノンパラメトリックな知識) のいずれかを編集すると、信頼性、一般化、局所性という不可能な三角形が生成されることを発見しました。
生涯にわたる編集環境で同時に実現することはできません。
長期記憶の場合、パラメーターを直接編集すると、無関係な事前学習された知識や以前の編集との競合が発生します (信頼性と局所性が低い)。
作業記憶の場合、検索ベースのアクティベーションでは、モデルに編集内容を理解させて一般化させることはほとんどできません (一般化が不十分)。
そこで私たちは、記憶の間のギャップを埋めるために WISE を提案します。
WISE では、事前学習された知識のためのメイン メモリと編集された知識のためのサイド メモリで構成されるデュアル パラメトリック メモリ スキームを設計します。
サイドメモリ内の知識のみを編集し、クエリが与えられたときにどのメモリを参照するかを決定するようにルーターをトレーニングします。
継続的な編集のために、さまざまな編集セットがパラメータの個別のサブスペースに存在し、その後競合することなく共有メモリにマージされる知識共有メカニズムを考案します。
広範な実験により、WISE が以前のモデル編集方法を上回って、GPT、LLaMA、Mistral などのトレンドの LLM アーキテクチャ全体にわたる質問応答、幻覚、および配布外設定の生涯にわたるモデル編集の下で不可能な三角形を克服できることが示されています。
コードは https://github.com/zjunlp/EasyEdit でリリースされます。

要約(オリジナル)

Large language models (LLMs) need knowledge updates to meet the ever-growing world facts and correct the hallucinated responses, facilitating the methods of lifelong model editing. Where the updated knowledge resides in memories is a fundamental question for model editing. In this paper, we find that editing either long-term memory (direct model parameters) or working memory (non-parametric knowledge of neural network activations/representations by retrieval) will result in an impossible triangle — reliability, generalization, and locality can not be realized together in the lifelong editing settings. For long-term memory, directly editing the parameters will cause conflicts with irrelevant pretrained knowledge or previous edits (poor reliability and locality). For working memory, retrieval-based activations can hardly make the model understand the edits and generalize (poor generalization). Therefore, we propose WISE to bridge the gap between memories. In WISE, we design a dual parametric memory scheme, which consists of the main memory for the pretrained knowledge and a side memory for the edited knowledge. We only edit the knowledge in the side memory and train a router to decide which memory to go through when given a query. For continual editing, we devise a knowledge-sharding mechanism where different sets of edits reside in distinct subspaces of parameters, and are subsequently merged into a shared memory without conflicts. Extensive experiments show that WISE can outperform previous model editing methods and overcome the impossible triangle under lifelong model editing of question answering, hallucination, and out-of-distribution settings across trending LLM architectures, e.g., GPT, LLaMA, and Mistral. Code will be released at https://github.com/zjunlp/EasyEdit.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google