Adaptive Chameleon or Stubborn Sloth: Revealing the Behavior of Large Language Models in Knowledge Conflicts

要約

大規模言語モデル (LLM) に外部情報を提供することにより、ツール拡張 (検索拡張を含む) が、LLM の静的パラメトリック メモリの制限に対処するための有望なソリューションとして浮上しました。
しかし、特に証拠がパラメトリック記憶と矛盾する場合、LLM はそのような外部証拠をどの程度受容するのでしょうか?
我々は、知識の衝突に遭遇したときの LLM の動作に関する、初めての包括的かつ制御された調査を紹介します。
我々は、LLM から高品質のパラメトリックメモリを引き出し、対応するカウンターメモリを構築する体系的なフレームワークを提案します。これにより、一連の制御された実験を実行できるようになります。
私たちの調査により、LLM の一見矛盾した動作が明らかになりました。
一方で、これまでの知恵とは異なり、外部証拠が首尾一貫していて説得力があると仮定すると、たとえそれがパラメトリック記憶と矛盾する場合でも、LLMは外部証拠を非常に受容し得ることがわかりました。
一方で、LLMは、矛盾する証拠を同時に提示されたにもかかわらず、外部証拠にパラメトリック記憶と一致する情報が含まれている場合、強い確証バイアスも示します。
これらの結果は、ツールと検索を強化した LLM のさらなる開発と展開について慎重に検討する価値のある重要な示唆をもたらします。
リソースは https://github.com/OSU-NLP-Group/LLM-Knowledge-Conflict で入手できます。

要約(オリジナル)

By providing external information to large language models (LLMs), tool augmentation (including retrieval augmentation) has emerged as a promising solution for addressing the limitations of LLMs’ static parametric memory. However, how receptive are LLMs to such external evidence, especially when the evidence conflicts with their parametric memory? We present the first comprehensive and controlled investigation into the behavior of LLMs when encountering knowledge conflicts. We propose a systematic framework to elicit high-quality parametric memory from LLMs and construct the corresponding counter-memory, which enables us to conduct a series of controlled experiments. Our investigation reveals seemingly contradicting behaviors of LLMs. On the one hand, different from prior wisdom, we find that LLMs can be highly receptive to external evidence even when that conflicts with their parametric memory, given that the external evidence is coherent and convincing. On the other hand, LLMs also demonstrate a strong confirmation bias when the external evidence contains some information that is consistent with their parametric memory, despite being presented with conflicting evidence at the same time. These results pose important implications that are worth careful consideration for the further development and deployment of tool- and retrieval-augmented LLMs. Resources are available at https://github.com/OSU-NLP-Group/LLM-Knowledge-Conflict.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google