Qinco2: Vector Compression and Search with Improved Implicit Neural Codebooks

要約

ベクトル量子化は、圧縮および大規模最近傍検索の基本的な技術です。
高精度の操作点を実現するには、マルチ コードブック量子化により、データ ベクトルが複数のコードブックのそれぞれからの 1 つの要素に関連付けられます。
例としては、前のステップの残差誤差を繰り返し量子化する残差量子化 (RQ) があります。
ただし、コードの異なる部分間の依存関係は RQ では無視されるため、レート歪みパフォーマンスが最適化されません。
QINCo は最近、ニューラル ネットワークを使用して、前のステップからのベクトル再構成に基づいて RQ の量子化コードブックを決定することで、この非効率性に対処しました。
この論文では、(i) コードワードの事前選択とビーム検索を使用した改善されたベクトル符号化、(ii) コードワードのペアを活用して検索用の正確な候補リストを確立する高速近似デコーダ、および (iii) により QINCo を拡張および改良した QINCo2 を紹介します。
) 最適化されたトレーニング手順とネットワーク アーキテクチャ。
ベクトル圧縮と 10 億規模の最近傍検索について QINCo2 を評価するために、4 つのデータセットで実験を行います。
両方の設定で優れた結果が得られ、BigANN の 16 バイト ベクトル圧縮で最先端の再構成 MSE が 34% 向上し、Deep1M の 8 バイト エンコーディングで検索精度が 24% 向上しました。

要約(オリジナル)

Vector quantization is a fundamental technique for compression and large-scale nearest neighbor search. For high-accuracy operating points, multi-codebook quantization associates data vectors with one element from each of multiple codebooks. An example is residual quantization (RQ), which iteratively quantizes the residual error of previous steps. Dependencies between the different parts of the code are, however, ignored in RQ, which leads to suboptimal rate-distortion performance. QINCo recently addressed this inefficiency by using a neural network to determine the quantization codebook in RQ based on the vector reconstruction from previous steps. In this paper we introduce QINCo2 which extends and improves QINCo with (i) improved vector encoding using codeword pre-selection and beam-search, (ii) a fast approximate decoder leveraging codeword pairs to establish accurate short-lists for search, and (iii) an optimized training procedure and network architecture. We conduct experiments on four datasets to evaluate QINCo2 for vector compression and billion-scale nearest neighbor search. We obtain outstanding results in both settings, improving the state-of-the-art reconstruction MSE by 34% for 16-byte vector compression on BigANN, and search accuracy by 24% with 8-byte encodings on Deep1M.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google