DR-RAG: Applying Dynamic Document Relevance to Retrieval-Augmented Generation for Question-Answering

要約

検索拡張生成 (RAG) は、質問応答 (QA) などの知識集約型タスクにおける大規模言語モデル (LLM) のパフォーマンスを顕著に示しています。
RAG は、外部ナレッジ ベースを組み込むことでクエリ コンテキストを拡張し、応答の精度を高めます。
ただし、クエリごとに LLM に複数回アクセスするのは非効率的であり、単一のクエリですべての関連ドキュメントを取得する信頼性も低くなります。
一部の重要なドキュメントとクエリの間の関連性が低い場合でも、ドキュメントの一部をクエリと組み合わせることで残りのドキュメントを取得できることがわかりました。
関連性を調べるために、Dynamic-Relevant Retrieval-Augmented Generation (DR-RAG) と呼ばれる 2 段階の検索フレームワークが提案され、効率を維持しながら文書検索の再現率と回答の精度を向上させます。
また、小さな分類器が 2 つの異なる選択戦略に適用され、クエリへの回答に対する取得されたドキュメントの寄与度が判断され、比較的関連性の高いドキュメントが取得されます。
一方、DR-RAG は LLM を 1 回だけ呼び出すため、実験の効率が大幅に向上します。
マルチホップ QA データセットの実験結果は、DR-RAG が回答の精度を大幅に向上させ、QA システムの新たな進歩を達成できることを示しています。

要約(オリジナル)

Retrieval-Augmented Generation (RAG) has significantly demonstrated the performance of Large Language Models (LLMs) in the knowledge-intensive tasks, such as Question-Answering (QA). RAG expands the query context by incorporating external knowledge bases to enhance the response accuracy. However, it would be inefficient to access LLMs multiple times for each query and unreliable to retrieve all the relevant documents by a single query. We find that even though there is low relevance between some critical documents and query, it is possible to retrieve the remaining documents by combining parts of the documents with the query. To mine the relevance, a two-stage retrieval framework called Dynamic-Relevant Retrieval-Augmented Generation (DR-RAG) is proposed to improve document retrieval recall and the accuracy of answers while maintaining efficiency. Also, a small classifier is applied to two different selection strategies to determine the contribution of the retrieved documents to answering the query and retrieve the relatively relevant documents. Meanwhile, DR-RAG call the LLMs only once, which significantly improves the efficiency of the experiment. The experimental results on multi-hop QA datasets show that DR-RAG can significantly improve the accuracy of the answers and achieve new progress in QA systems.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google