Large Language Models are Strong Zero-Shot Retriever

要約

この研究では、大規模言語モデル (LLM) をゼロショット シナリオでの大規模な検索に適用する簡単な方法を提案します。
私たちの手法である Language language model as Retriever (LameR) は、LLM 以外のニューラル モデルに基づいて構築されていませんが、レトリーバーと LLM の強引な組み合わせを打ち破り、ゼロショット検索のパフォーマンスを向上させ、ベンチマーク データセットで非常に競争力のあるものにします。
。
基本的に、LLM にクエリとクエリのドメイン内候補の構成を指示することで、クエリをその潜在的な回答で強化することを提案します。
候補は、正誤に関係なく、ターゲット コレクションに対するバニラ検索手順によって取得されます。
プロンプトの一部として、LLM がパターンの模倣や候補の要約によってより正確な回答を生成するのに役立つ可能性があります。
たとえすべての候補が間違っていたとしても、プロンプトは少なくとも LLM にコレクション内のパターンとジャンルを認識させます。
さらに、自己教師あり取得器のパフォーマンスが低いため、取得器がパイプライン全体のボトルネックになるため、LLM ベースのクエリ拡張の効果が低下します。
したがって、ノンパラメトリック語彙ベースの方法 (BM25 など) を検索モジュールとして利用して、クエリとドキュメントの重複を文字通りの方法でキャプチャすることを提案します。
そのため、LameR は取得手順を LLM に対して透過的にし、パフォーマンスのボトルネックを回避します。

要約(オリジナル)

In this work, we propose a simple method that applies a large language model (LLM) to large-scale retrieval in zero-shot scenarios. Our method, the Language language model as Retriever (LameR), is built upon no other neural models but an LLM, while breaking brute-force combinations of retrievers with LLMs and lifting the performance of zero-shot retrieval to be very competitive on benchmark datasets. Essentially, we propose to augment a query with its potential answers by prompting LLMs with a composition of the query and the query’s in-domain candidates. The candidates, regardless of correct or wrong, are obtained by a vanilla retrieval procedure on the target collection. As a part of the prompts, they are likely to help LLM generate more precise answers by pattern imitation or candidate summarization. Even if all the candidates are wrong, the prompts at least make LLM aware of in-collection patterns and genres. Moreover, due to the low performance of a self-supervised retriever, the LLM-based query augmentation becomes less effective as the retriever bottlenecks the whole pipeline. Therefore, we propose to leverage a non-parametric lexicon-based method (e.g., BM25) as the retrieval module to capture query-document overlap in a literal fashion. As such, LameR makes the retrieval procedure transparent to the LLM, thus circumventing the performance bottleneck.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google