Optimistic Query Routing in Clustering-based Approximate Maximum Inner Product Search

要約

クラスタリング ベースの最近傍検索は、データ ポイントが幾何学的シャードに分割されてインデックスを形成し、クエリ処理中に少数のシャードのみが検索されて上位 $k$ ベクトルの近似セットが見つかる、シンプルかつ効果的な方法です。
検索の有効性は、調査するシャードのセットを特定するアルゴリズムに大きく影響されますが、文献ではほとんど注目されていません。
この研究では、クラスタリング ベースの最大内積検索 (MIPS) におけるルーティングの問題を研究することで、そのギャップを埋めることを試みています。
まず既存のルーティング プロトコルを紐解くことから始め、楽観主義が驚くほど貢献していることに気づきます。
次に、一連の意思決定文献から 1 ページを取り出し、「不確実性に直面した楽観主義」の原則に従ってその洞察を形式化します。特に、それぞれの内部積の分布の瞬間を組み込んだ新しいフレームワークを提示します。
シャードを使用して最大内積を楽観的に推定します。
次に、最初の 2 つの瞬間のみを使用して、一連のベンチマーク MIPS データセット上で最大 $50%$ 少ないポイントをプローブすることで \scann などの最先端のルーターと同じ精度に達するアルゴリズムの単純なインスタンスを示します。
。
私たちのアルゴリズムはスペース効率も優れています。サイズが点の数に依存しない二次モーメントのスケッチを設計し、実際にはシャードあたり $O(1)$ の追加ベクトルのみを保存する必要があります。

要約(オリジナル)

Clustering-based nearest neighbor search is a simple yet effective method in which data points are partitioned into geometric shards to form an index, and only a few shards are searched during query processing to find an approximate set of top-$k$ vectors. Even though the search efficacy is heavily influenced by the algorithm that identifies the set of shards to probe, it has received little attention in the literature. This work attempts to bridge that gap by studying the problem of routing in clustering-based maximum inner product search (MIPS). We begin by unpacking existing routing protocols and notice the surprising contribution of optimism. We then take a page from the sequential decision making literature and formalize that insight following the principle of “optimism in the face of uncertainty.” In particular, we present a new framework that incorporates the moments of the distribution of inner products within each shard to optimistically estimate the maximum inner product. We then present a simple instance of our algorithm that uses only the first two moments to reach the same accuracy as state-of-the-art routers such as \scann by probing up to $50%$ fewer points on a suite of benchmark MIPS datasets. Our algorithm is also space-efficient: we design a sketch of the second moment whose size is independent of the number of points and in practice requires storing only $O(1)$ additional vectors per shard.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google