LoRANN: Low-Rank Matrix Factorization for Approximate Nearest Neighbor Search

要約

近似最近傍 (ANN) 検索は、多くの最新の機械学習パイプラインの重要なコンポーネントです。
最近の使用例には、検索拡張生成 (RAG) およびベクトル データベースが含まれます。
積量子化 (PQ) に基づくスコア計算方法を使用するクラスタリング ベースの ANN アルゴリズムは、スケーラビリティと分散型およびディスクベースの実装への適合性により、産業規模のアプリケーションでよく使用されます。
ただし、主要なグラフベースの ANN アルゴリズムよりもクエリ時間が遅くなります。
この研究では、内積近似は多変量 (多出力) 回帰問題であり、縮小ランク回帰によって効率的に解くことができるという観察に基づいて、新しい教師付きスコア計算方法を提案します。
私たちの実験では、最新の高次元データ セットでは、提案された縮小ランク回帰 (RRR) 手法がクエリ レイテンシーとメモリ使用量の両方において PQ よりも優れていることが示されました。
また、提案されたスコア計算方法を利用するクラスタリングベースの ANN ライブラリである LoRANN も紹介します。
LoRANN は、主要なグラフベースのアルゴリズムと競合し、高次元データ セットに対して最先端の GPU ANN メソッドよりも優れたパフォーマンスを発揮します。

要約(オリジナル)

Approximate nearest neighbor (ANN) search is a key component in many modern machine learning pipelines; recent use cases include retrieval-augmented generation (RAG) and vector databases. Clustering-based ANN algorithms, that use score computation methods based on product quantization (PQ), are often used in industrial-scale applications due to their scalability and suitability for distributed and disk-based implementations. However, they have slower query times than the leading graph-based ANN algorithms. In this work, we propose a new supervised score computation method based on the observation that inner product approximation is a multivariate (multi-output) regression problem that can be solved efficiently by reduced-rank regression. Our experiments show that on modern high-dimensional data sets, the proposed reduced-rank regression (RRR) method is superior to PQ in both query latency and memory usage. We also introduce LoRANN, a clustering-based ANN library that leverages the proposed score computation method. LoRANN is competitive with the leading graph-based algorithms and outperforms the state-of-the-art GPU ANN methods on high-dimensional data sets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google