Efficient Constant-Space Multi-Vector Retrieval

要約

コルバートアーキテクチャによって例示された多面検索方法は、検索の潜在性と有効性の観点から強力なトレードオフを提供することにより、検索の実質的な約束を示しています。
ただし、入力コレクションのすべてのトークンに対して（潜在的に圧縮された）ベクトルを保存する必要があるため、ストレージの点で高コストで提供されます。
この問題を克服するために、必ずしも入力トークンに結び付けられていない固定数のベクトルにエンコードドキュメントを提案します。
ストレージコストを削減するだけでなく、ドキュメントの表現がディスク上の固定サイズになるという利点があり、OSページング管理の向上が可能になります。
代表的なマルチベクトルランキングモデルアーキテクチャであるColbert-V2アーキテクチャを使用してMSMARCOパッセージコーパスとBeirを使用した実験を通じて、元の有効性のほとんどを保持しながら、パッセージを固定数のベクターに効果的にエンコードできることがわかります。

要約(オリジナル)

Multi-vector retrieval methods, exemplified by the ColBERT architecture, have shown substantial promise for retrieval by providing strong trade-offs in terms of retrieval latency and effectiveness. However, they come at a high cost in terms of storage since a (potentially compressed) vector needs to be stored for every token in the input collection. To overcome this issue, we propose encoding documents to a fixed number of vectors, which are no longer necessarily tied to the input tokens. Beyond reducing the storage costs, our approach has the advantage that document representations become of a fixed size on disk, allowing for better OS paging management. Through experiments using the MSMARCO passage corpus and BEIR with the ColBERT-v2 architecture, a representative multi-vector ranking model architecture, we find that passages can be effectively encoded into a fixed number of vectors while retaining most of the original effectiveness.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google