Entropy-Based Decoding for Retrieval-Augmented Large Language Models

要約

取得した外部知識を使用して大規模言語モデル (LLM) を拡張することは、生成された応答の事実の正確性を向上させるのに効果的であることが証明されています。
成功にもかかわらず、検索拡張 LLM は依然として、生成された応答が外部および内部の両方の知識源からのノイズによって悪影響を受けるという注意散漫の問題に直面しています。
この論文では、この問題を軽減するために、エントロピーの考慮に基づいた、トレーニング不要の新しい復号化方法を紹介します。
私たちのアプローチは、エントロピーベースの文書並列アンサンブル復号化を利用して、取得された文書からの低エントロピー分布を優先し、それによってコンテキストの関連情報の抽出を強化します。
さらに、取得された低エントロピーのアンサンブル分布と、層全体にわたるモデルの内部知識から導出された高エントロピーの分布を対比する対比デコード メカニズムが組み込まれており、信頼性の高い外部情報がより強調されます。
オープンドメインの質問応答データセットに関する広範な実験により、私たちの方法の優位性が実証されました。

要約(オリジナル)

Augmenting Large Language Models (LLMs) with retrieved external knowledge has proven effective for improving the factual accuracy of generated responses. Despite their success, retrieval-augmented LLMs still face the distractibility issue, where the generated responses are negatively influenced by noise from both external and internal knowledge sources. In this paper, we introduce a novel, training-free decoding method guided by entropy considerations to mitigate this issue. Our approach utilizes entropy-based document-parallel ensemble decoding to prioritize low-entropy distributions from retrieved documents, thereby enhancing the extraction of relevant information of context. Additionally, it incorporates a contrastive decoding mechanism that contrasts the obtained low-entropy ensemble distribution with the high-entropy distribution derived from the model’s internal knowledge across layers, which ensures a greater emphasis on reliable external information. Extensive experiments on open-domain question answering datasets demonstrate the superiority of our method.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google