Lifelong Knowledge Editing for LLMs with Retrieval-Augmented Continuous Prompt Learning

要約

モデル編集は、大規模言語モデル（LLM）の古い知識や誤った知識を、コストのかかる再トレーニングを必要とせずに修正することを目的としている。生涯モデル編集は、LLMの継続的な編集要件に対応する最も困難なタスクである。先行研究は、主に単一編集またはバッチ編集に焦点を当てている。それにもかかわらず、これらの方法は、知識の壊滅的な忘却とモデル性能の劣化のため、生涯編集シナリオでは不十分である。検索に基づく方法はこれらの問題を軽減するが、検索された知識をモデルに統合するプロセスが遅く、煩雑であることが妨げとなる。本研究では、生涯学習における編集効率と推論効率を向上させるために、RetriEval-augmented ContInuous Prompt lEarning手法であるRECIPEを導入する。RECIPEはまず、知識文を短く有益な連続プロンプトに変換し、LLMの入力クエリ埋め込みに前置することで、知識に基づいた応答を効率的に洗練する。さらに、知識センチネル(KS)を統合し、検索リポジトリに関連する知識が含まれているかどうかを判断し、動的な閾値を計算する仲介役として機能する。我々のリトリーバとプロンプトエンコーダは、編集特性、すなわち信頼性、一般性、局所性を達成するために共同で訓練される。実験では、RECIPEを複数のLLMと編集データセットで広範囲に評価し、優れた編集性能を達成した。RECIPEはまた、高速な編集と推論速度を示すと同時に、LLMの全体的な性能を維持する能力も示している。

要約(オリジナル)

Model editing aims to correct outdated or erroneous knowledge in large language models (LLMs) without the need for costly retraining. Lifelong model editing is the most challenging task that caters to the continuous editing requirements of LLMs. Prior works primarily focus on single or batch editing; nevertheless, these methods fall short in lifelong editing scenarios due to catastrophic knowledge forgetting and the degradation of model performance. Although retrieval-based methods alleviate these issues, they are impeded by slow and cumbersome processes of integrating the retrieved knowledge into the model. In this work, we introduce RECIPE, a RetriEval-augmented ContInuous Prompt lEarning method, to boost editing efficacy and inference efficiency in lifelong learning. RECIPE first converts knowledge statements into short and informative continuous prompts, prefixed to the LLM’s input query embedding, to efficiently refine the response grounded on the knowledge. It further integrates the Knowledge Sentinel (KS) that acts as an intermediary to calculate a dynamic threshold, determining whether the retrieval repository contains relevant knowledge. Our retriever and prompt encoder are jointly trained to achieve editing properties, i.e., reliability, generality, and locality. In our experiments, RECIPE is assessed extensively across multiple LLMs and editing datasets, where it achieves superior editing performance. RECIPE also demonstrates its capability to maintain the overall performance of LLMs alongside showcasing fast editing and inference speed.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL