LeanVec: Searching vectors faster by making them fit

要約

最新のディープラーニングモデルは、意味的類似性を反映した類似度を持つ高次元ベクトルを生成する能力を持つ。したがって、類似性検索、すなわち、与えられたクエリと類似している大規模なコレクション内のベクトルを検索する操作は、高精度でタイムリーな回答を要求する幅広いアプリケーションの重要な構成要素となっている。このような環境では、ベクトルの次元が高いため、類似検索システムは計算量とメモリのプレッシャーにさらされ、劣悪な性能になってしまう。さらに、クロスモーダル検索タスクはますます一般的になってきている。例えば、ユーザがテキストクエリを入力し、そのクエリに最も関連する画像を検索するような場合である。しかし、このようなクエリは、データベースの埋め込みとは異なる分布を持つことが多く、高い精度を達成することは困難である。本研究では、線形次元削減とベクトル量子化を組み合わせ、精度を維持しながら高次元ベクトルの類似性探索を高速化するフレームワークLeanVecを提案する。分布内(ID)と分布外(OOD)のクエリに対するLeanVecのバリエーションを示す。LeanVec-IDは、最近導入されたディープラーニングの代替手法と同程度の精度が得られるが、計算オーバーヘッドにより実際の使用は不可能である。LeanVec-OODは、クエリとデータベースの分布を考慮した次元削減のための2つの新しいテクニックを使用し、同時にフレームワークの精度と性能をさらに向上させる（クエリとデータベースの分布が一致する場合、競争力のある結果を提示する）。全体として、我々の広範で多様な実験結果は、LeanVecが検索スループットを最大3.7倍向上させ、インデックス構築時間を最大4.9倍高速化させ、最先端の結果をもたらすことを示している。

要約(オリジナル)

Modern deep learning models have the ability to generate high-dimensional vectors whose similarity reflects semantic resemblance. Thus, similarity search, i.e., the operation of retrieving those vectors in a large collection that are similar to a given query, has become a critical component of a wide range of applications that demand highly accurate and timely answers. In this setting, the high vector dimensionality puts similarity search systems under compute and memory pressure, leading to subpar performance. Additionally, cross-modal retrieval tasks have become increasingly common, e.g., where a user inputs a text query to find the most relevant images for that query. However, these queries often have different distributions than the database embeddings, making it challenging to achieve high accuracy. In this work, we present LeanVec, a framework that combines linear dimensionality reduction with vector quantization to accelerate similarity search on high-dimensional vectors while maintaining accuracy. We present LeanVec variants for in-distribution (ID) and out-of-distribution (OOD) queries. LeanVec-ID yields accuracies on par with those from recently introduced deep learning alternatives whose computational overhead precludes their usage in practice. LeanVec-OOD uses two novel techniques for dimensionality reduction that consider the query and database distributions to simultaneously boost the accuracy and the performance of the framework even further (even presenting competitive results when the query and database distributions match). All in all, our extensive and varied experimental results show that LeanVec produces state-of-the-art results, with up to 3.7x improvement in search throughput and up to 4.9x faster index build time over the state of the art.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL