Query Optimization for Parametric Knowledge Refinement in Retrieval-Augmented Large Language Models

要約

Extract-Refine-Retrieve-Read (ERRR) フレームワークを紹介します。これは、大規模言語モデルの特定の知識要件を満たすように調整されたクエリの最適化を通じて、検索拡張生成 (RAG) システムにおける取得前情報のギャップを埋めるように設計された新しいアプローチです。
(LLM)。
RAG で使用される従来のクエリ最適化手法とは異なり、ERRR フレームワークは LLM からパラメトリックな知識を抽出することから始め、その後、特殊なクエリ オプティマイザーを使用してこれらのクエリを調整します。
このプロセスにより、正確な応答を生成するために不可欠な最も関連性の高い情報のみが確実に取得されます。
さらに、柔軟性を高めて計算コストを削減するために、より小さな調整可能なモデルをクエリ オプティマイザーとして利用するパイプラインのトレーニング可能なスキームを提案します。クエリ オプティマイザーは、より大きな教師モデルからの知識の蒸留によって洗練されます。
さまざまな質問応答 (QA) データセットとさまざまな検索システムを使用した評価では、ERRR が既存のベースラインを常に上回っており、RAG システムの有用性と精度を向上させる多用途でコスト効率の高いモジュールであることが証明されています。

要約(オリジナル)

We introduce the Extract-Refine-Retrieve-Read (ERRR) framework, a novel approach designed to bridge the pre-retrieval information gap in Retrieval-Augmented Generation (RAG) systems through query optimization tailored to meet the specific knowledge requirements of Large Language Models (LLMs). Unlike conventional query optimization techniques used in RAG, the ERRR framework begins by extracting parametric knowledge from LLMs, followed by using a specialized query optimizer for refining these queries. This process ensures the retrieval of only the most pertinent information essential for generating accurate responses. Moreover, to enhance flexibility and reduce computational costs, we propose a trainable scheme for our pipeline that utilizes a smaller, tunable model as the query optimizer, which is refined through knowledge distillation from a larger teacher model. Our evaluations on various question-answering (QA) datasets and with different retrieval systems show that ERRR consistently outperforms existing baselines, proving to be a versatile and cost-effective module for improving the utility and accuracy of RAG systems.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google