The Power of Noise: Redefining Retrieval for RAG Systems

要約

検索拡張生成 (RAG) は、情報検索 (IR) システムによって取得された関連する文章や文書で元のプロンプトを拡張することにより、大規模言語モデルの事前トレーニングされた知識を超えて拡張する方法として最近登場しました。
RAG は、特に知識が常に更新され、LLM に記憶できないエンタープライズ環境やドメインにおいて、生成 AI ソリューションにとってますます重要になっています。
私たちはここで、RAG システムの検索コンポーネントは、それが密であろうと疎であろうと、研究コミュニティからのさらなる注目に値すると主張し、したがって、RAG システムの検索戦略の最初の包括的かつ系統的な調査を実施します。
特に、RAG ソリューション内の IR システムが取得する必要があるパッセージのタイプに焦点を当てます。
私たちの分析では、プロンプトのコンテキストに含まれる文章の関連性、位置、数などの複数の要素が考慮されます。
この研究の直観に反する発見の 1 つは、クエリに直接関係しない (たとえば、答えが含まれていない) 取得者の最高スコアのドキュメントが LLM の有効性に悪影響を及ぼすということです。
さらに驚くべきことに、プロンプトにランダムなドキュメントを追加すると、LLM の精度が最大 35% 向上することがわかりました。
これらの結果は、検索と LLM を統合する際に適切な戦略を調査する必要性を強調しており、それによってこの分野における将来の研究の基礎が築かれます。

要約(オリジナル)

Retrieval-Augmented Generation (RAG) has recently emerged as a method to extend beyond the pre-trained knowledge of Large Language Models by augmenting the original prompt with relevant passages or documents retrieved by an Information Retrieval (IR) system. RAG has become increasingly important for Generative AI solutions, especially in enterprise settings or in any domain in which knowledge is constantly refreshed and cannot be memorized in the LLM. We argue here that the retrieval component of RAG systems, be it dense or sparse, deserves increased attention from the research community, and accordingly, we conduct the first comprehensive and systematic examination of the retrieval strategy of RAG systems. We focus, in particular, on the type of passages IR systems within a RAG solution should retrieve. Our analysis considers multiple factors, such as the relevance of the passages included in the prompt context, their position, and their number. One counter-intuitive finding of this work is that the retriever’s highest-scoring documents that are not directly relevant to the query (e.g., do not contain the answer) negatively impact the effectiveness of the LLM. Even more surprising, we discovered that adding random documents in the prompt improves the LLM accuracy by up to 35%. These results highlight the need to investigate the appropriate strategies when integrating retrieval with LLMs, thereby laying the groundwork for future research in this area.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google