Assessing Knowledge Editing in Language Models via Relation Perspective

要約

大規模言語モデル (LLM) の事実知識を変更するナレッジ編集 (KE) への注目が高まっています。
ただし、既存の知識編集方法はエンティティ中心であり、このアプローチが関係中心の観点に適しているかどうかは不明です。
このギャップに対処するために、この文書では、関係ベースの知識編集に焦点を当てた、RaKE という名前の新しいベンチマークを構築します。
この論文では、一連の革新的な評価指標を確立し、さまざまな知識編集ベースラインを含む包括的な実験を実施します。
既存の知識編集方法では、関係を編集する能力に潜在的な困難があることがわかりました。
したがって、トランスフォーマー内の事実のトリプレットにおける関係の役割をさらに調査します。
私たちの研究結果は、関係に関連する知識が FFN ネットワークだけでなくアテンション層にも保存されていることを確認しています。
これは、将来の関係ベースの知識編集方法に対する実験的なサポートを提供します。

要約(オリジナル)

Knowledge Editing (KE) for modifying factual knowledge in Large Language Models (LLMs) has been receiving increasing attention. However, existing knowledge editing methods are entity-centric, and it is unclear whether this approach is suitable for a relation-centric perspective. To address this gap, this paper constructs a new benchmark named RaKE, which focuses on Relation based Knowledge Editing. In this paper, we establish a suite of innovative metrics for evaluation and conduct comprehensive experiments involving various knowledge editing baselines. We notice that existing knowledge editing methods exhibit the potential difficulty in their ability to edit relations. Therefore, we further explore the role of relations in factual triplets within the transformer. Our research results confirm that knowledge related to relations is not only stored in the FFN network but also in the attention layers. This provides experimental support for future relation-based knowledge editing methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google