Retrieval-Enhanced Knowledge Editing for Multi-Hop Question Answering in Language Models

要約

大規模言語モデル (LLM) は、質問応答タスクでは熟練していることを示していますが、リアルタイムの知識の更新を統合するのに苦労することが多く、応答が時代遅れまたは不正確になる可能性があります。
マルチホップの質問を扱う場合、LLM が質問に関連する複数の知識を更新して統合する必要があるため、この問題はさらに困難になります。
この問題に取り組むために、マルチホップ質問応答用に調整された検索拡張モデル編集 (RAE) フレームワークを提案します。
RAE は、まず編集されたファクトを取得し、次にコンテキスト内学習を通じて言語モデルを改良します。
具体的には、相互情報の最大化に基づく当社の検索アプローチは、LLM の推論能力を活用して、単純な類似性に基づく検索では見逃してしまう可能性のある連鎖事実を特定します。
さらに、私たちのフレームワークには、取得された事実から冗長な情報を削除する枝刈り戦略が組み込まれており、これにより編集の精度が向上し、幻覚の問題が軽減されます。
私たちのフレームワークは、事実検索の有効性に対する理論的根拠によって裏付けられています。
最後に、さまざまな LLM にわたる包括的な評価により、最新の知識を使用して正確な回答を提供する RAE の能力が検証されます。

要約(オリジナル)

Large Language Models (LLMs) have shown proficiency in question-answering tasks but often struggle to integrate real-time knowledge updates, leading to potentially outdated or inaccurate responses. This problem becomes even more challenging when dealing with multi-hop questions since they require LLMs to update and integrate multiple knowledge pieces relevant to the questions. To tackle the problem, we propose the Retrieval-Augmented model Editing (RAE) framework tailored for multi-hop question answering. RAE first retrieves edited facts and then refines the language model through in-context learning. Specifically, our retrieval approach, based on mutual information maximization, leverages the reasoning abilities of LLMs to identify chain facts that na\’ive similarity-based searches might miss. Additionally, our framework incorporates a pruning strategy to eliminate redundant information from the retrieved facts, which enhances the editing accuracy and mitigates the hallucination problem. Our framework is supported by theoretical justification for its fact retrieval efficacy. Finally, comprehensive evaluation across various LLMs validates RAE’s ability in providing accurate answers with updated knowledge.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google