‘Merge Conflicts!’ Exploring the Impacts of External Distractors to Parametric Knowledge Graphs

要約

大規模言語モデル (LLM) は、事前トレーニング中にパラメトリック知識として知られる広範な知識を取得します。
ただし、LLM が最新の状態を維持し、人間の指示と一致するようにするには、ユーザーとの対話中に必然的に外部の知識が必要になります。
これは重要な疑問を引き起こします。外部の知識がパラメトリックな知識に干渉した場合、LLM はどのように反応するのでしょうか?
この疑問を調査するために、LLM パラメトリック知識を体系的に引き出し、外部知識を導入するフレームワークを提案します。
具体的には、パラメトリック知識グラフを構築してLLMのさまざまな知識構造を明らかにし、さまざまな程度、方法、位置、形式の注意をそらすものを通じて外部知識を導入することによって影響を明らかにします。
ブラックボックスモデルとオープンソースモデルの両方に関する私たちの実験は、LLMが、特に詳細なコンテキスト内で情報の直接の衝突や混乱を招くような変更に遭遇した場合に、パラメトリックな知識から逸脱する応答を生成する傾向があることを示しています。
また、LLM は外部の知識の真実性に敏感である一方、無関係な情報に気を取られる可能性があることもわかりました。
これらの発見は、現在のLLMとの相互作用中に間接的であっても外部の知識を統合する際の幻覚のリスクを強調しています。
すべてのデータと結果は公開されています。

要約(オリジナル)

Large language models (LLMs) acquire extensive knowledge during pre-training, known as their parametric knowledge. However, in order to remain up-to-date and align with human instructions, LLMs inevitably require external knowledge during their interactions with users. This raises a crucial question: How will LLMs respond when external knowledge interferes with their parametric knowledge? To investigate this question, we propose a framework that systematically elicits LLM parametric knowledge and introduces external knowledge. Specifically, we uncover the impacts by constructing a parametric knowledge graph to reveal the different knowledge structures of LLMs, and introduce external knowledge through distractors of varying degrees, methods, positions, and formats. Our experiments on both black-box and open-source models demonstrate that LLMs tend to produce responses that deviate from their parametric knowledge, particularly when they encounter direct conflicts or confounding changes of information within detailed contexts. We also find that while LLMs are sensitive to the veracity of external knowledge, they can still be distracted by unrelated information. These findings highlight the risk of hallucination when integrating external knowledge, even indirectly, during interactions with current LLMs. All the data and results are publicly available.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google