Efficient k-NN Search with Cross-Encoders using Adaptive Multi-Round CUR Decomposition

要約

クエリ項目のペアを共同でエンコードしてスコアリングするクロスエンコーダー モデルは、直接の k 最近傍 (k-NN) 検索では法外に高価です。
したがって、k-NN 検索では通常、高速近似検索 (BM25 またはデュアル エンコーダー ベクトルを使用) を採用し、その後クロス エンコーダーを使用して再ランキングを行います。
ただし、検索近似では、有害なリコールリグロングが発生することがよくあります。
この問題は、クロスエンコーダのみを使用し、比較的少数のアンカー項目と CUR 行列分解を使用して検索を効率的にする最近の研究である ANNCUR (Yadav et al., 2022) によって取り組んでいます。
ANNCUR の 1 回限りのアンカー選択は、平均してエンコーダ間の距離を近似する傾向がありますが、そうすることでクエリ近くの項目までの距離を正確に推定する能力が失われ、重要な最終タスクである上位 k 項目の再現で後悔が生じます。
。
この論文では、実際に重要な上位 k 近傍の近似誤差を適応的、反復的、効率的に最小化する方法である ADACUR を提案します。
これは、これまでに利用可能なアンカーを使用して k-NN 検索を繰り返し実行し、取得した最近傍を次のラウンドのアンカー セットに追加することによって行われます。
経験的に、複数のデータセットにおいて、ANNCUR やデュアルエンコーダベースの取得と再ランク付けなどの従来の従来の手法や最先端の​​手法と比較して、私たちが提案するアプローチ ADACUR は一貫してリコールエラーを最大 70% 削減します。
重要な k = 1 設定は、競合他社と比べて多くのコンピューティングを使用しません。

要約(オリジナル)

Cross-encoder models, which jointly encode and score a query-item pair, are prohibitively expensive for direct k-nearest neighbor (k-NN) search. Consequently, k-NN search typically employs a fast approximate retrieval (e.g. using BM25 or dual-encoder vectors), followed by reranking with a cross-encoder; however, the retrieval approximation often has detrimental recall regret. This problem is tackled by ANNCUR (Yadav et al., 2022), a recent work that employs a cross-encoder only, making search efficient using a relatively small number of anchor items, and a CUR matrix factorization. While ANNCUR’s one-time selection of anchors tends to approximate the cross-encoder distances on average, doing so forfeits the capacity to accurately estimate distances to items near the query, leading to regret in the crucial end-task: recall of top-k items. In this paper, we propose ADACUR, a method that adaptively, iteratively, and efficiently minimizes the approximation error for the practically important top-k neighbors. It does so by iteratively performing k-NN search using the anchors available so far, then adding these retrieved nearest neighbors to the anchor set for the next round. Empirically, on multiple datasets, in comparison to previous traditional and state-of-the-art methods such as ANNCUR and dual-encoder-based retrieve-and-rerank, our proposed approach ADACUR consistently reduces recall error-by up to 70% on the important k = 1 setting-while using no more compute than its competitors.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google