Zero-Shot Dense Retrieval with Embeddings from Relevance Feedback

要約

関連性の監視が利用できない場合、効果的な高密度検索システムを構築することは依然として困難です。
最近の研究では、大規模言語モデル (LLM) を使用して、最も近い実際の文書を見つけるために使用できる仮説的な文書を生成することで、この課題を克服しようとしています。
ただし、このアプローチは、クエリに関連するドメイン固有の知識を得るために LLM のみに依存するため、実用的ではない可能性があります。
さらに、仮説ドキュメントの生成は、LLM がクエリごとに大量のトークンを生成する必要があるため、非効率的になる可能性があります。
これらの課題に対処するために、関連性フィードバックからの Real Document Embeddings (ReDE-RF) を導入します。
関連性フィードバックに触発された ReDE-RF は、LLM を使用して最近傍検索に使用するドキュメントを選択することにより、仮説的なドキュメント生成を関連性推定タスクとして再構成することを提案しています。
この再構成により、LLM はドメイン固有の知識を必要とせず、何が関連しているかを判断するだけで済みます。
さらに、関連性の推定では、LLM が単一のトークンを出力するだけで済むため、検索の待ち時間が短縮されます。
私たちの実験では、ReDE-RF が幅広い低リソース検索データセットにわたって最先端のゼロショット高密度検索手法を常に上回り、クエリごとのレイテンシーも大幅に改善していることが示されています。

要約(オリジナル)

Building effective dense retrieval systems remains difficult when relevance supervision is not available. Recent work has looked to overcome this challenge by using a Large Language Model (LLM) to generate hypothetical documents that can be used to find the closest real document. However, this approach relies solely on the LLM to have domain-specific knowledge relevant to the query, which may not be practical. Furthermore, generating hypothetical documents can be inefficient as it requires the LLM to generate a large number of tokens for each query. To address these challenges, we introduce Real Document Embeddings from Relevance Feedback (ReDE-RF). Inspired by relevance feedback, ReDE-RF proposes to re-frame hypothetical document generation as a relevance estimation task, using an LLM to select which documents should be used for nearest neighbor search. Through this re-framing, the LLM no longer needs domain-specific knowledge but only needs to judge what is relevant. Additionally, relevance estimation only requires the LLM to output a single token, thereby improving search latency. Our experiments show that ReDE-RF consistently surpasses state-of-the-art zero-shot dense retrieval methods across a wide range of low-resource retrieval datasets while also making significant improvements in latency per-query.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google