Leveraging Logical Rules in Knowledge Editing: A Cherry on the Top

要約

知識編集 (KE) の下でのマルチホップ質問応答 (MQA) は、大規模言語モデル (LLM) における重要な課題です。
この分野で最もパフォーマンスの高いソリューションは、質問をサブ質問に分割し、その後に応答を生成する計画と解決パラダイムを使用しますが、このアプローチは、分解が難しい質問には失敗し、明示的には解決されないため、最適ではないと主張します。
知識編集の結果として生じる、相関する知識の更新に対応します。
これは、更新された知識の全体的な一貫性に悪影響を及ぼします。
これらの問題に対処するために、この論文では、RULE-KE という名前の新しいフレームワーク、つまり RULE ベースのナレッジ編集を提案します。これは、KE に基づくすべての既存の MQA メソッドのパフォーマンスを強化するための最高の桜です。
具体的には、RULE-KE はルール検出を活用して一連の論理ルールを検出します。
次に、これらの発見されたルールを使用して、編集と高度に相関する事実に関する知識を更新します。
既存のデータセットと新しく厳選されたデータセット (RKE-EVAL) を使用した実験評価では、RULE-KE がパラメータベースのソリューションとメモリベースのソリューションの両方のパフォーマンスをそれぞれ最大 92% と 112.9% 向上させるのに役立つことが示されています。

要約(オリジナル)

Multi-hop Question Answering (MQA) under knowledge editing (KE) is a key challenge in Large Language Models (LLMs). While best-performing solutions in this domain use a plan and solve paradigm to split a question into sub-questions followed by response generation, we claim that this approach is sub-optimal as it fails for hard to decompose questions, and it does not explicitly cater to correlated knowledge updates resulting as a consequence of knowledge edits. This has a detrimental impact on the overall consistency of the updated knowledge. To address these issues, in this paper, we propose a novel framework named RULE-KE, i.e., RULE based Knowledge Editing, which is a cherry on the top for augmenting the performance of all existing MQA methods under KE. Specifically, RULE-KE leverages rule discovery to discover a set of logical rules. Then, it uses these discovered rules to update knowledge about facts highly correlated with the edit. Experimental evaluation using existing and newly curated datasets (i.e., RKE-EVAL) shows that RULE-KE helps augment both performances of parameter-based and memory-based solutions up to 92% and 112.9%, respectively.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google