Lexically-Accelerated Dense Retrieval

要約

語彙信号 (つまり、従来の検索) ではなく、学習された密ベクトル (つまり、密検索) に基づいて文書をスコアリングする検索アプローチがますます人気が高まっています。
ユーザーのクエリに出現する用語と必ずしも同じ用語が含まれていない関連文書を識別できること (これにより、再現率が向上します) が、主要な利点の 1 つです。
ただし、これらの利点を実際に達成するには、通常、高密度検索アプローチでは文書コレクションに対する徹底的な検索が必要となるため、従来の語彙的アプローチよりもクエリ時のコストが大幅に高くなります。
いくつかの手法は、フルデンスリトリーバーの結果を近似することで、この計算オーバーヘッドを削減することを目的としています。
これらのアプローチは上位の結果に適度に近似していますが、高密度検索の重要な利点の 1 つである再現率の点で問題があります。
検索の有効性を損なうことなく、既存の高密度検索モデルの効率を向上させる、シンプルかつ効果的なアプローチである「LADR」(Lexally-Accelerated Dense Retrieval) を紹介します。
LADR は、語彙検索技術を使用して、ドキュメント近接グラフを使用する高密度検索探索をシードします。
LADR の 2 つの変種を検討します。1 つは検索スペースをすべてのシード ドキュメントの近傍に拡張するプロアクティブ アプローチ、もう 1 つは反復方法で最も関連性が高く推定されたドキュメントを選択的に検索する適応的アプローチです。
さまざまな高密度検索モデルにわたる広範な実験を通じて、LADR が近似 k 個の最近傍手法の間で新しい高密度検索の有効性と効率性のパレート フロンティアを確立することがわかりました。
さらに、ハードウェアでの検索遅延がクエリごとに約 8 ミリ秒かかるように調整すると、LADR は標準ベンチマークでの徹底的な検索と同等の精度と再現率の両方を一貫して達成できることがわかりました。

要約(オリジナル)

Retrieval approaches that score documents based on learned dense vectors (i.e., dense retrieval) rather than lexical signals (i.e., conventional retrieval) are increasingly popular. Their ability to identify related documents that do not necessarily contain the same terms as those appearing in the user’s query (thereby improving recall) is one of their key advantages. However, to actually achieve these gains, dense retrieval approaches typically require an exhaustive search over the document collection, making them considerably more expensive at query-time than conventional lexical approaches. Several techniques aim to reduce this computational overhead by approximating the results of a full dense retriever. Although these approaches reasonably approximate the top results, they suffer in terms of recall — one of the key advantages of dense retrieval. We introduce ‘LADR’ (Lexically-Accelerated Dense Retrieval), a simple-yet-effective approach that improves the efficiency of existing dense retrieval models without compromising on retrieval effectiveness. LADR uses lexical retrieval techniques to seed a dense retrieval exploration that uses a document proximity graph. We explore two variants of LADR: a proactive approach that expands the search space to the neighbors of all seed documents, and an adaptive approach that selectively searches the documents with the highest estimated relevance in an iterative fashion. Through extensive experiments across a variety of dense retrieval models, we find that LADR establishes a new dense retrieval effectiveness-efficiency Pareto frontier among approximate k nearest neighbor techniques. Further, we find that when tuned to take around 8ms per query in retrieval latency on our hardware, LADR consistently achieves both precision and recall that are on par with an exhaustive search on standard benchmarks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google