Accommodate Knowledge Conflicts in Retrieval-augmented LLMs: Towards Reliable Response Generation in the Wild

要約

大規模な言語モデル（LLMS）の増殖には、特に応答生成（RG）において、情報検索システムが大幅に進歩しています。
残念ながら、LLMはしばしば、誤った情報、バイアス、または時代遅れの知識から生じる内部記憶と取得した外部情報の間の知識の対立に直面しています。
これらの紛争は、対応の信頼性を損ない、意思決定に不確実性をもたらします。
この作業では、LLMSが情報理論的な観点から知識の矛盾をナビゲートする方法を分析し、矛盾した補足情報が有意な違いを示す場合、LLMSが自信を持って好みを解決することを明らかにします。
ただし、区別が曖昧な場合、LLMSは不確実性を高めました。
この洞察に基づいて、バリエーション情報ボトルネックモデルのパイプラインを検索された情報の適応的増強に統合し、応答生成におけるLLM優先を導く新しいフレームワークであるSwin-Vibを提案します。
単一選択、自由回答形式の質問回答（QA）、および検索拡張生成（RAG）に関する広範な実験は、理論的発見を検証し、SWIN-VIBの有効性を実証します。
特に、私たちの方法は、競合ベースラインで少なくとも7.54 \％だけ単一選択タスクの精度を改善します。

要約(オリジナル)

The proliferation of large language models (LLMs) has significantly advanced information retrieval systems, particularly in response generation (RG). Unfortunately, LLMs often face knowledge conflicts between internal memory and retrievaled external information, arising from misinformation, biases, or outdated knowledge. These conflicts undermine response reliability and introduce uncertainty in decision-making. In this work, we analyze how LLMs navigate knowledge conflicts from an information-theoretic perspective and reveal that when conflicting and supplementary information exhibit significant differences, LLMs confidently resolve their preferences. However, when the distinction is ambiguous, LLMs experience heightened uncertainty. Based on this insight, we propose Swin-VIB, a novel framework that integrates a pipeline of variational information bottleneck models into adaptive augmentation of retrieved information and guiding LLM preference in response generation. Extensive experiments on single-choice, open-ended question-answering (QA), and retrieval augmented generation (RAG) validate our theoretical findings and demonstrate the efficacy of Swin-VIB. Notably, our method improves single-choice task accuracy by at least 7.54\% over competitive baselines.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google