Query Rewriting for Retrieval-Augmented Large Language Models

要約

大規模言語モデル (LLM) は、取得してから読み取るパイプラインで強力なブラックボックス リーダーとして機能し、知識集約型タスクで目覚ましい進歩を遂げます。
この研究では、クエリ書き換えの観点から、検索拡張 LLM に対して以前の取得 – その後読み取りの代わりに、新しいフレームワークである再書き込み – 取得 – 読み取りを導入しています。
検索者またはリーダーのいずれかの適応に焦点を当てた先行研究とは異なり、入力テキストと検索に必要な知識との間には必然的にギャップが存在するため、私たちのアプローチは検索クエリ自体の適応に注意を払っています。
まず LLM にクエリを生成するように促し、次に Web 検索エンジンを使用してコンテキストを取得します。
さらに、クエリを凍結されたモジュールに合わせて調整するために、パイプラインのトレーニング可能なスキームを提案します。
ブラックボックス LLM リーダーに対応するトレーニング可能なリライターとして、小規模な言語モデルが採用されています。
リライターは、LLM リーダーのフィードバックを使用して強化学習によってトレーニングされます。
評価は、下流タスク、オープンドメイン QA、および多肢選択 QA に対して行われます。
実験結果は一貫したパフォーマンスの向上を示しており、私たちのフレームワークが効果的でスケーラブルであることが証明されており、検索拡張 LLM に新しいフレームワークをもたらしていることを示しています。

要約(オリジナル)

Large Language Models (LLMs) play powerful, black-box readers in the retrieve-then-read pipeline, making remarkable progress in knowledge-intensive tasks. This work introduces a new framework, Rewrite-Retrieve-Read instead of the previous retrieve-then-read for the retrieval-augmented LLMs from the perspective of the query rewriting. Unlike prior studies focusing on adapting either the retriever or the reader, our approach pays attention to the adaptation of the search query itself, for there is inevitably a gap between the input text and the needed knowledge in retrieval. We first prompt an LLM to generate the query, then use a web search engine to retrieve contexts. Furthermore, to better align the query to the frozen modules, we propose a trainable scheme for our pipeline. A small language model is adopted as a trainable rewriter to cater to the black-box LLM reader. The rewriter is trained using the feedback of the LLM reader by reinforcement learning. Evaluation is conducted on downstream tasks, open-domain QA and multiple-choice QA. Experiments results show consistent performance improvement, indicating that our framework is proven effective and scalable, and brings a new framework for retrieval-augmented LLM.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google