Bang for the Buck: Vector Search on Cloud CPUs

要約

ベクトルデータベースは、高次元ベクトルの効率的なクエリをサポートする新しいタイプのシステムとして浮上しています。
これらの多くは、クラウド内のサービスとしてデータベースを提供しています。
ただし、利用可能なCPUの多様性とCPU全体のベクトル検索ベンチマークの欠如により、ユーザーを選択することは困難です。
この研究では、クラウドで利用可能なCPUマイクロアーキテクチャは、ベクター検索シナリオ間で著しく異なる機能を実行することを示しています。
たとえば、Float32ベクターのIVFインデックスでは、AMDのZen4は、IntelのSapphire Rapidsと比較して1秒あたり3倍のクエリ（QPS）を提供しますが、HNSWインデックスではテーブルがターンします。
ただし、1ドルあたりのクエリの数（QP $）を見ると、Graviton3は、Graviton4を超えても、ほとんどのインデックスと量子化設定に最適なオプションです（表1）。
この作業により、ベクトル検索システムを展開するときに、ユーザーが最高の「バックのためのバン」を取得することを導くことを望んでいます。

要約(オリジナル)

Vector databases have emerged as a new type of systems that support efficient querying of high-dimensional vectors. Many of these offer their database as a service in the cloud. However, the variety of available CPUs and the lack of vector search benchmarks across CPUs make it difficult for users to choose one. In this study, we show that CPU microarchitectures available in the cloud perform significantly differently across vector search scenarios. For instance, in an IVF index on float32 vectors, AMD’s Zen4 gives almost 3x more queries per second (QPS) compared to Intel’s Sapphire Rapids, but for HNSW indexes, the tables turn. However, when looking at the number of queries per dollar (QP$), Graviton3 is the best option for most indexes and quantization settings, even over Graviton4 (Table 1). With this work, we hope to guide users in getting the best ‘bang for the buck’ when deploying vector search systems.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google