General and Practical Tuning Method for Off-the-Shelf Graph-Based Index: SISAP Indexing Challenge Report by Team UTokyo

要約

近似最近傍(ANN)検索におけるグラフベースアルゴリズムの有効性にもかかわらず、このようなシステムの最適なチューニングは不明確なままである。本研究では、既製のグラフベースインデックスの性能を、ベクトルの次元、データベースのサイズ、グラフ探索のエントリポイントに着目してチューニングする手法を紹介する。ブラックボックス最適化アルゴリズムを利用し、必要なレベルのリコールとQueries Per Second (QPS)を満たすように統合的なチューニングを行う。我々のアプローチをSISAP 2023 Indexing ChallengeのTask Aに適用し、10Mと30Mのトラックで2位を獲得した。ブルートフォース手法と比較して大幅に性能が向上した。この研究は、グラフベースのインデックスに普遍的に適用可能なチューニング手法を提供し、コンペティションの特定の条件を超えて、より広範な用途に拡張するものである。

要約(オリジナル)

Despite the efficacy of graph-based algorithms for Approximate Nearest Neighbor (ANN) searches, the optimal tuning of such systems remains unclear. This study introduces a method to tune the performance of off-the-shelf graph-based indexes, focusing on the dimension of vectors, database size, and entry points of graph traversal. We utilize a black-box optimization algorithm to perform integrated tuning to meet the required levels of recall and Queries Per Second (QPS). We applied our approach to Task A of the SISAP 2023 Indexing Challenge and got second place in the 10M and 30M tracks. It improves performance substantially compared to brute force methods. This research offers a universally applicable tuning method for graph-based indexes, extending beyond the specific conditions of the competition to broader uses.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL