Large Language Models are Strong Zero-Shot Retriever

要約

タイトル：言語モデルを利用した「零ショット」リトリーバーは強力である

要約：
– 大規模な検索における「言語モデルをリトリーバーとして使用する方法」を提案する。
– この方法は「Language Model as Retriever (LameR)」と呼ばれ、他のニューラルモデルを必要とせず、言語モデルのみを利用する。
– LameRは、ブルートフォースリトリーバーの組み合わせをLLMと組み合わせることで、ベンチマークデータセット上の零ショット・リトリーバータスクの性能を向上させる。
– クエリに候補の回答をプロンプトとしてLLMに提示することで、候補のパターンの模倣や要約を通じて、より正確な回答を導き出すことができる。
– 候補がすべて誤っていたとしても、プロンプトによりLLMは検索のパターンや傾向に気づくことができる。
– 自己監督のリトリーバーの性能が低いため、LLMベースのクエリの拡張が全体的なパイプラインを痛みになることがある。
– BM25などの非パラメトリックレキシコンベースの方法を利用することで、LLMに透明な検索プロセスを提供することで、性能の瓶頸を回避する。

要約(オリジナル)

In this work, we propose a simple method that applies a large language model (LLM) to large-scale retrieval in zero-shot scenarios. Our method, Language language model as Retriever (LameR) is built upon no other neural models but an LLM, while breaking up brute-force combinations of retrievers with LLMs and lifting the performance of zero-shot retrieval to be very competitive on benchmark datasets. Essentially, we propose to augment a query with its potential answers by prompting LLMs with a composition of the query and the query’s in-domain candidates. The candidates, regardless of correct or wrong, are obtained by a vanilla retrieval procedure on the target collection. Such candidates, as a part of prompts, are likely to help LLM generate more precise answers by pattern imitation or candidate summarization. Even if all the candidates are wrong, the prompts at least make LLM aware of in-collection patterns and genres. Moreover, due to the low performance of a self-supervised retriever, the LLM-based query augmentation becomes less effective as the retriever bottlenecks the whole pipeline. So, we propose to leverage a non-parametric lexicon-based method (e.g., BM25) as the retrieval module to capture query-document overlap in a literal fashion. As such, LameR makes the retrieval procedure transparent to the LLM, so it circumvents the performance bottleneck.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI