Blinded by Generated Contexts: How Language Models Merge Generated and Retrieved Contexts for Open-Domain QA?

要約

補助情報は大規模言語モデル (LLM) を強化するための鍵となっていますが、LLM がこれらのコンテキスト (具体的には生成および取得) をどのように適切にマージするかについてはほとんど知られていません。
これを研究するために、生成されたコンテキストと取得されたコンテキストの統合から得られる答えが、生成されたコンテキストと取得されたコンテキストのどちらに起因するかを特定するために特別に設計されたタスクを定式化します。
このタスクをサポートするために、競合するコンテキストを含むデータセットを構築する方法論を開発しました。各質問は、生成されたコンテキストと取得されたコンテキストの両方とペアになっていますが、正解が含まれるのはそのうちの 1 つだけです。
私たちの実験では、最先端のオープン (Llama2-7b/13b) システムとクローズド (GPT 3.5/4) システム全体で証明されているように、生成されたコンテキストに対する LLM の大きな偏りが明らかになりました。
さらに、このバイアスに寄与する 2 つの重要な要因を特定します。 i) LLM によって生成されたコンテキストは通常​​、質問との類似性が高く、選択される可能性が高くなります。
ii) 取得されたコンテキストで使用されるセグメンテーション プロセスにより、コンテキストの完全性が損なわれ、LLM でのコンテキストの完全な利用が妨げられます。
私たちの分析は、LLM がどのように多様なコンテキストをマージするかについての理解を深め、LLM の現在の拡張方法を進歩させるための貴重な洞察を提供します。

要約(オリジナル)

While auxiliary information has become a key to enhance Large Language Models (LLMs), relatively little is known about how well LLMs merge these contexts, specifically generated and retrieved. To study this, we formulate a task specifically designed to identify whether the answers, derived from the integration of generated and retrieved contexts, are attributed to either generated or retrieved contexts. To support this task, we develop a methodology to construct datasets with conflicting contexts, where each question is paired with both generated and retrieved contexts, yet only one of them contains the correct answer. Our experiments reveal a significant bias in LLMs towards generated contexts, as evidenced across state-of-the-art open (Llama2-7b/13b) and closed (GPT 3.5/4) systems. We further identify two key factors contributing to this bias: i) Contexts generated by LLMs typically show greater similarity to the questions, increasing their likelihood of selection; ii) The segmentation process used in retrieved contexts disrupts their completeness, thereby hindering their full utilization in LLMs. Our analysis enhances the understanding of how LLMs merge diverse contexts, offering valuable insights for advancing current augmentation methods for LLMs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google