Optimistic Query Routing in Clustering-based Approximate Maximum Inner Product Search

要約

クラスタリング ベースの最近傍検索は、ポイントを幾何学的なシャードに分割してインデックスを形成する効果的な方法で、クエリ処理中に少数のシャードのみを検索して上位 $k$ ベクトルのセットを見つけます。
検索の有効性は、調査対象のシャードを特定するアルゴリズムに大きく影響されますが、文献ではほとんど注目されていません。
この研究では、クラスタリングベースの最大内積検索におけるルーティングを研究することで、そのギャップを埋めます。
既存のルーターを開梱すると、楽観主義が驚くほど貢献していることに気づきました。
次に、一連の意思決定に関する文献から 1 ページを取得し、「不確実性に直面したときの楽観主義」の原則に従ってその洞察を形式化します。特に、各シャード内の内積の分布のモーメントを組み込んだフレームワークを提示します。
最大内積を推定します。
次に、最初の 2 つの瞬間のみを使用して、ベンチマーク データセット上の最大 $50\%$ 少ないポイントを調査することで、ScaNN などの最先端のルーターと同じ精度に達するアルゴリズムのインスタンスを紹介します。
私たちのアルゴリズムはスペース効率も優れています。サイズが点の数に依存せず、シャードごとに $\mathcal{O}(1)$ ベクトルを必要とする二次モーメントのスケッチを設計します。

要約(オリジナル)

Clustering-based nearest neighbor search is an effective method in which points are partitioned into geometric shards to form an index, with only a few shards searched during query processing to find a set of top-$k$ vectors. Even though the search efficacy is heavily influenced by the algorithm that identifies the shards to probe, it has received little attention in the literature. This work bridges that gap by studying routing in clustering-based maximum inner product search. We unpack existing routers and notice the surprising contribution of optimism. We then take a page from the sequential decision making literature and formalize that insight following the principle of “optimism in the face of uncertainty.” In particular, we present a framework that incorporates the moments of the distribution of inner products within each shard to estimate the maximum inner product. We then present an instance of our algorithm that uses only the first two moments to reach the same accuracy as state-of-the-art routers such as ScaNN by probing up to $50\%$ fewer points on benchmark datasets. Our algorithm is also space-efficient: we design a sketch of the second moment whose size is independent of the number of points and requires $\mathcal{O}(1)$ vectors per shard.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google