Large Language Models are Built-in Autoregressive Search Engines

要約

ドキュメントの検索は、標準の Web 検索エンジンの重要な段階です。
既存のデュアルエンコーダデンスリトリーバーは、質問と文書の表現を独立して取得し、それらの間の浅い対話のみを可能にします。
この制限を克服するために、最近の自己回帰検索エンジンは、候補プール内の関連ドキュメントの識別子を直接生成することにより、デュアル エンコーダ アーキテクチャを置き換えています。
ただし、このような自己回帰検索エンジンのトレーニング コストは、候補ドキュメントの数が増加するにつれて急激に増加します。
この論文では、大規模言語モデル (LLM) が人間の指示に従って文書検索用の URL を直接生成できることを発見しました。
驚くべきことに、コンテキスト内のデモンストレーションとしていくつかの {Query-URL} ペアを提供すると、LLM は、対応するドキュメントのほぼ 90\% にオープン ドメインの質問に対する正しい回答が含まれる Web URL を生成できます。
このように、LLM は質問を文書識別子にマッピングするように明示的にトレーニングされていないため、組み込みの検索エンジンと考えることができます。
実験により、私たちの方法は、ゼロショット設定と少数ショット設定の両方で、3 つのオープンドメイン質問応答ベンチマークで、既存の検索アプローチよりも大幅なマージンで優れた検索パフォーマンスを一貫して達成できることが実証されています。
この作業のコードは \url{https://github.com/Ziems/llm-url} にあります。

要約(オリジナル)

Document retrieval is a key stage of standard Web search engines. Existing dual-encoder dense retrievers obtain representations for questions and documents independently, allowing for only shallow interactions between them. To overcome this limitation, recent autoregressive search engines replace the dual-encoder architecture by directly generating identifiers for relevant documents in the candidate pool. However, the training cost of such autoregressive search engines rises sharply as the number of candidate documents increases. In this paper, we find that large language models (LLMs) can follow human instructions to directly generate URLs for document retrieval. Surprisingly, when providing a few {Query-URL} pairs as in-context demonstrations, LLMs can generate Web URLs where nearly 90\% of the corresponding documents contain correct answers to open-domain questions. In this way, LLMs can be thought of as built-in search engines, since they have not been explicitly trained to map questions to document identifiers. Experiments demonstrate that our method can consistently achieve better retrieval performance than existing retrieval approaches by a significant margin on three open-domain question answering benchmarks, under both zero and few-shot settings. The code for this work can be found at \url{https://github.com/Ziems/llm-url}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google