Untangle the KNOT: Interweaving Conflicting Knowledge and Reasoning Skills in Large Language Models

要約

大規模言語モデル（LLM）に知識文書を提供することは、LLMのパラメータに内在する静的知識を更新するための有望なソリューションとして浮上している。しかし、LLMのパラメータに含まれる知識が古かったり間違っていたりすることで、文書内の知識がLLMの記憶と衝突する可能性がある。このため、LLMの記憶と衝突する補足的な外部知識をLLMが同化する能力を検証する必要性が生じる。先行研究では、LLMが提供されたテキストから相反する知識をどの程度抽出するかは説明されているが、相反する知識を用いて推論する必要性は無視されている。さらに、LLMがプロンプティング、デコーディングストラテジー、教師ありファインチューニングによって相反する知識を解決するためのストラテジーに関する詳細な分析はなされていない。これらの限界に対処するために、我々はKNOTと呼ばれる新しいデータセットを構築し、質問応答という形で知識の衝突を解決する検証を行う。KNOTは、相反する知識による推論を3つのレベルに分けることで、詳細な分析を容易にする。(2)明示的推論：質問文に推論経路が明示されている場合に、相反する知識を用いて推論を行う。(3)暗黙的推論。相反する知識を用いて推論を行う場合、LLMは独自に推論経路を推測して質問に答える必要がある。また、複雑な状況下でLLMが相反する知識を利用するための経験的ガイドラインを確立するために、KNOTを用いた広範な実験を行う。データセットと関連コードは https://github.com/THU-KEG/KNOT からアクセスできる。

要約(オリジナル)

Providing knowledge documents for large language models (LLMs) has emerged as a promising solution to update the static knowledge inherent in their parameters. However, knowledge in the document may conflict with the memory of LLMs due to outdated or incorrect knowledge in the LLMs’ parameters. This leads to the necessity of examining the capability of LLMs to assimilate supplemental external knowledge that conflicts with their memory. While previous studies have explained to what extent LLMs extract conflicting knowledge from the provided text, they neglect the necessity to reason with conflicting knowledge. Furthermore, there lack a detailed analysis on strategies to enable LLMs to resolve conflicting knowledge via prompting, decoding strategy, and supervised fine-tuning. To address these limitations, we construct a new dataset, dubbed KNOT, for knowledge conflict resolution examination in the form of question answering. KNOT facilitates in-depth analysis by dividing reasoning with conflicting knowledge into three levels: (1) Direct Extraction, which directly extracts conflicting knowledge to answer questions. (2) Explicit Reasoning, which reasons with conflicting knowledge when the reasoning path is explicitly provided in the question. (3) Implicit Reasoning, where reasoning with conflicting knowledge requires LLMs to infer the reasoning path independently to answer questions. We also conduct extensive experiments on KNOT to establish empirical guidelines for LLMs to utilize conflicting knowledge in complex circumstances. Dataset and associated codes can be accessed at https://github.com/THU-KEG/KNOT .

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL