Context Awareness Gate For Retrieval Augmented Generation

要約

検索拡張生成 (RAG) は、ドメイン固有の質問に答える際に大規模言語モデル (LLM) の制限を軽減するために広く採用されているアプローチとして登場しました。
これまでの研究では、生成パイプラインの全体的なパフォーマンスを向上させるために、取得したデータ チャンクの精度と品質を向上させることに主に焦点が当てられてきました。
しかし、進歩が続いているにもかかわらず、無関係な情報を取得するという重要な問題は、内部知識を効果的に利用するモデルの能力を損なう可能性があり、ほとんど注目されていません。
この研究では、オープンドメインの質問応答で無関係な情報を取得することの影響を調査し、LLM 出力の品質に対する重大な悪影響を強調します。
この課題に対処するために、ユーザー クエリが外部コンテキストの取得を必要とするかどうかに基づいて LLM の入力プロンプトを動的に調整する新しいメカニズムであるコンテキスト アウェアネス ゲート (CAG) アーキテクチャを提案します。
さらに、統計的で LLM に依存せず、拡張性の高い CAG の中核となる数学的コンポーネントである Vector Candidates メソッドを導入します。
さらに、コンテキストと質問の間の関係の分布を調査し、これらの分布の統計分析を示します。
この分析を利用して、検索拡張生成 (RAG) システムのコンテキスト検索プロセスを強化できます。

要約(オリジナル)

Retrieval Augmented Generation (RAG) has emerged as a widely adopted approach to mitigate the limitations of large language models (LLMs) in answering domain-specific questions. Previous research has predominantly focused on improving the accuracy and quality of retrieved data chunks to enhance the overall performance of the generation pipeline. However, despite ongoing advancements, the critical issue of retrieving irrelevant information — which can impair the ability of the model to utilize its internal knowledge effectively — has received minimal attention. In this work, we investigate the impact of retrieving irrelevant information in open-domain question answering, highlighting its significant detrimental effect on the quality of LLM outputs. To address this challenge, we propose the Context Awareness Gate (CAG) architecture, a novel mechanism that dynamically adjusts the LLMs’ input prompt based on whether the user query necessitates external context retrieval. Additionally, we introduce the Vector Candidates method, a core mathematical component of CAG that is statistical, LLM-independent, and highly scalable. We further examine the distributions of relationships between contexts and questions, presenting a statistical analysis of these distributions. This analysis can be leveraged to enhance the context retrieval process in Retrieval Augmented Generation (RAG) systems.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google