Evaluating Dependencies in Fact Editing for Language Models: Specificity and Implication Awareness

要約

大規模言語モデル(LLM)を知識ベース(KB)として利用する可能性は、大きな関心を呼んでいる。LLMによって獲得された知識を管理するためには、学習されたファクトの編集が、知識の依存性として知られる内部論理制約を尊重することを保証する必要がある。LLMの編集に関する既存の研究は、あるファクトの編集が、無関係なファクトを破壊することなく、その語彙のバリエーションに適用されるべきであるという依存性の問題に部分的に対処してきた。しかし、それらは事実とその論理的含意との間の依存関係を無視している。我々は、上記の依存性の概念を考慮した編集プロセスの包括的な評価を提供する、質問応答データセットDepEditを伴う評価プロトコルを提案する。我々のプロトコルは、ファクトを編集する制御された環境を設定し、If-Thenルールに基づくLLMへの影響を監視する。DepEditを用いた広範な実験により、既存の知識編集手法は知識の表層に敏感であり、編集されたファクトの意味を推論する性能に限界があることが示された。

要約(オリジナル)

The potential of using a large language model (LLM) as a knowledge base (KB) has sparked significant interest. To manage the knowledge acquired by LLMs, we need to ensure that the editing of learned facts respects internal logical constraints, which are known as dependency of knowledge. Existing work on editing LLMs has partially addressed the issue of dependency, when the editing of a fact should apply to its lexical variations without disrupting irrelevant ones. However, they neglect the dependency between a fact and its logical implications. We propose an evaluation protocol with an accompanying question-answering dataset, DepEdit, that provides a comprehensive assessment of the editing process considering the above notions of dependency. Our protocol involves setting up a controlled environment in which we edit facts and monitor their impact on LLMs, along with their implications based on If-Then rules. Extensive experiments on DepEdit show that existing knowledge editing methods are sensitive to the surface form of knowledge, and that they have limited performance in inferring the implications of edited facts.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL