Adaptive Selection of Anchor Items for CUR-based k-NN search with Cross-Encoders

要約

タイトル：交差エンコーダを用いたCURベースのk-NN検索のためのアンカーアイテムの適応的選択

要約：
– 交差エンコーダモデルは、クエリ-アイテムペアを共同エンコードし、スコア付けすることを特徴とするモデルであるが、k近傍検索には非常に高いコストがかかるため、通常ヒューリスティックリトリーブ（BM25やデュアルエンコーダなど）による再ランク付けのアプローチが用いられる
– 最近の研究では、ANNCUR（Yadav et al.、2022）が提案され、CUR行列分解を使用して、デュアルエンコーダを必要とせずにクエリ-アイテムペアを直接近似する効率的なベクトルベースの検索に適した埋め込み空間を生成することができることが示されている
– ANNCURは、ランダムに均等にサンプリングされたアンカーアイテムを使ってテストクエリを評価し、クエリ-アイテム共有埋め込み空間を定義する。しかし、これでは、上位k位のアイテムの近似誤差が高く、上位k位の（特に1位の）アイテムのリコールが悪くなる。
– アンカーアイテムの数を増やすことは、近似誤差を改善し、ANNCURのk-NNリコールを向上させる直接的な方法だが、推論のレイテンシが増加するという欠点がある。
– この論文では、計算オーバーヘッドを最小限に抑えながら、実際に重要な上位k近傍に対する近似誤差を最小限に抑えるための適応的なアンカーアイテム選択法を提案する。
– 提案手法では、複数のラウンドにわたって、適切なアンカーアイテムセットを選択し、前のラウンドで選択されたアンカーアイテムを用いてより多くのアンカーアイテムを選択する。
– 実験的に、提案手法は、ANNCURと広く用いられるデュアルエンコーダに基づくリトリーブアンドリランクアプローチに比べて、k-NNリコールを一貫して向上させることが示された。

要約(オリジナル)

Cross-encoder models, which jointly encode and score a query-item pair, are typically prohibitively expensive for k-nearest neighbor search. Consequently, k-NN search is performed not with a cross-encoder, but with a heuristic retrieve (e.g., using BM25 or dual-encoder) and re-rank approach. Recent work proposes ANNCUR (Yadav et al., 2022) which uses CUR matrix factorization to produce an embedding space for efficient vector-based search that directly approximates the cross-encoder without the need for dual-encoders. ANNCUR defines this shared query-item embedding space by scoring the test query against anchor items which are sampled uniformly at random. While this minimizes average approximation error over all items, unsuitably high approximation error on top-k items remains and leads to poor recall of top-k (and especially top-1) items. Increasing the number of anchor items is a straightforward way of improving the approximation error and hence k-NN recall of ANNCUR but at the cost of increased inference latency. In this paper, we propose a new method for adaptively choosing anchor items that minimizes the approximation error for the practically important top-k neighbors for a query with minimal computational overhead. Our proposed method incrementally selects a suitable set of anchor items for a given test query over several rounds, using anchors chosen in previous rounds to inform selection of more anchor items. Empirically, our method consistently improves k-NN recall as compared to both ANNCUR and the widely-used dual-encoder-based retrieve-and-rerank approach.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI