CaKE: Circuit-aware Editing Enables Generalizable Knowledge Learners

要約

知識編集（KE）により、大規模な言語モデル（LLM）で時代遅れまたは誤った情報を変更できます。
既存のKEメソッドは孤立した事実を更新できますが、これらの更新を修正された知識に依存するマルチホップ推論タスクに一般化するのに苦労しています。
LLMSが知識ベースの推論に使用する神経経路である推論回路の分析を通じて、単一またはいくつかのモデル層のみを編集するMemitやWiseなどの現在の層に局在するKEアプローチが、これらの推論経路に更新された情報を効果的に組み込むのに苦労することを観察します。
この制限に対処するために、LLMで更新された知識をより効果的に統合できる新しい方法であるCake（回路認識の知識編集）を提案します。
ケーキは、回路ベースの分析に導かれた戦略的にキュレーションされたデータを活用し、モデルを強制して修正された知識を利用し、モデルを刺激して新たに統合された知識のための適切な推論サーキットを開発します。
実験結果は、Cakeが関連する推論タスク全体で更新された知識をより正確で一貫した使用できるようになり、既存のKEメソッドと比較してMquake Datasetのマルチホップ推論の精度が平均20％改善されることを示しています。
https://github.com/zjunlp/cakeでコードとデータをリリースします。

要約(オリジナル)

Knowledge Editing (KE) enables the modification of outdated or incorrect information in large language models (LLMs). While existing KE methods can update isolated facts, they struggle to generalize these updates to multi-hop reasoning tasks that depend on the modified knowledge. Through an analysis of reasoning circuits — the neural pathways LLMs use for knowledge-based inference, we observe that current layer-localized KE approaches, such as MEMIT and WISE, which edit only single or a few model layers, struggle to effectively incorporate updated information into these reasoning pathways. To address this limitation, we propose CaKE (Circuit-aware Knowledge Editing), a novel method that enables more effective integration of updated knowledge in LLMs. CaKE leverages strategically curated data, guided by our circuits-based analysis, that enforces the model to utilize the modified knowledge, stimulating the model to develop appropriate reasoning circuits for newly integrated knowledge. Experimental results show that CaKE enables more accurate and consistent use of updated knowledge across related reasoning tasks, leading to an average of 20% improvement in multi-hop reasoning accuracy on MQuAKE dataset compared to existing KE methods. We release the code and data in https://github.com/zjunlp/CaKE.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google