Query Rewriting for Retrieval-Augmented Large Language Models

要約

大規模言語モデル (LLM) は、\textit{Retrieve-then-Read} パイプラインの強力な \textit{Reader} として機能し、知識ベースのオープンドメイン タスクを大幅に進歩させます。
この取り組みでは、クエリの書き換えの観点から検索拡張メソッドを改善する新しいフレームワーク \textit{Rewrite-Retrieve-Read} を導入しています。
これまでの研究は主に、レトリーバーを適応させたり、読者を刺激したりすることに貢献しています。
それらとは異なり、私たちのアプローチはクエリの適応に注意を払います。
特に現実の世界では、元のクエリが常に LLM の取得に最適であるとは限らないためです。(1) まず LLM にクエリの書き換えを促し、次に検索拡張読み取りを実行します。
(2) さらに、小規模な言語モデルをトレーニング可能なリライターとして適用します。これは、フリーズされた取得者と LLM リーダーに対応するために検索クエリを書き換えます。
リライターを微調整するために、まず疑似データを使用して教師ありウォームアップ トレーニングを実施します。
次に、 \textit{Retrieve-then-Read} パイプラインが強化学習コンテキストとしてモデル化されます。
リライターは、パイプライン パフォーマンスの報酬を最大化することによって、ポリシー モデルとしてさらにトレーニングされます。
評価は、オープンドメイン QA と多肢選択という 2 つの下流タスクで実行されます。
私たちのフレームワークは効果的で拡張性があることが証明されています。

要約(オリジナル)

Large Language Models (LLMs) play a powerful \textit{Reader} of the \textit{Retrieve-then-Read} pipeline, making great progress in knowledge-based open-domain tasks. This work introduces a new framework, \textit{Rewrite-Retrieve-Read} that improves the retrieval-augmented method from the perspective of the query rewriting. Prior studies mostly contribute to adapt the retriever or stimulate the reader. Different from them, our approach pay attention of the query adaptation. Because the original query can not be always optimal to retrieve for the LLM, especially in the real world.(1) We first prompt an LLM to rewrite the queries, then conduct retrieval-augmented reading. (2) We further apply a small language model as a trainable rewriter, which rewrite the search query to cater to the frozen retriever and the LLM reader. To fine-tune the rewriter, we first use a pseudo data to conduct supervised warm-up training. Then the \textit{Retrieve-then-Read} pipeline is modeled as a reinforcement learning context. The rewriter is further trained as a policy model by maximize the reward of the pipeline performance. Evaluation is performed on two downstream tasks, open-domain QA and multiple choice. Our framework is proved effective and scalable.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google