Locate-then-edit for Multi-hop Factual Recall under Knowledge Editing

要約

検索してから編集するパラダイムは、大規模言語モデル (LLM) における知識編集 (KE) に大きな期待をもたらしています。
以前の方法は、シングルホップの事実想起タスクでは良好に機能しますが、新しく編集された知識を含むマルチホップの事実想起タスクでは一貫して困難を伴います。
この論文では、機構的解釈可能性のツールを活用して、最初に、マルチホップ タスクでは、LLM が、以前の層に依存するシングルホップ タスクとは異なり、より深い MLP 層から暗黙的な主題の知識を取得する傾向があることを特定しました。
この違いは、現在のメソッドが主に浅いレイヤの編集に重点を置き、深いレイヤは変更しないままにするため、マルチホップ クエリにおける現在のメソッドのパフォーマンスが低いことを説明しています。
これに対処するために、浅い MLP 層と深い MLP 層の両方を編集するように設計された、新しい検索後編集 KE アプローチである IFMET を提案します。
IFMET は、マルチホップ編集プロンプトと補足セットを使用して、さまざまな推論段階にわたる知識を見つけて変更します。
実験結果は、IFMET がマルチホップ事実想起タスクのパフォーマンスを大幅に向上させ、以前の検索して編集する方法の制限を効果的に克服することを示しています。

要約(オリジナル)

The locate-then-edit paradigm has shown significant promise for knowledge editing (KE) in Large Language Models (LLMs). While previous methods perform well on single-hop fact recall tasks, they consistently struggle with multi-hop factual recall tasks involving newly edited knowledge. In this paper, leveraging tools in mechanistic interpretability, we first identify that in multi-hop tasks, LLMs tend to retrieve implicit subject knowledge from deeper MLP layers, unlike single-hop tasks, which rely on earlier layers. This distinction explains the poor performance of current methods in multi-hop queries, as they primarily focus on editing shallow layers, leaving deeper layers unchanged. To address this, we propose IFMET, a novel locate-then-edit KE approach designed to edit both shallow and deep MLP layers. IFMET employs multi-hop editing prompts and supplementary sets to locate and modify knowledge across different reasoning stages. Experimental results demonstrate that IFMET significantly improves performance on multi-hop factual recall tasks, effectively overcoming the limitations of previous locate-then-edit methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google