Rethinking the Role of Token Retrieval in Multi-Vector Retrieval

要約

ColBERT [Khattab and Zaharia、2020] などのマルチベクトル検索モデルは、クエリとドキュメント間のトークンレベルの対話を可能にするため、多くの情報検索ベンチマークで最先端を実現します。
ただし、その非線形スコアリング関数は数百万のドキュメントに拡張することができないため、推論には 3 段階のプロセスが必要になります。つまり、トークン取得による最初の候補の取得、すべてのトークン ベクトルへのアクセス、最初の候補ドキュメントのスコアリングです。
非線形スコアリング関数は各候補ドキュメントのすべてのトークン ベクトルに適用されるため、推論プロセスが複雑かつ遅くなります。
このペーパーでは、トークン検索の役割を再考することで、マルチベクトル検索を簡素化することを目的としています。
XTR (ConteXtualized Token Retriever) を紹介します。これは、モデルが最も重要なドキュメント トークンを最初に取得することを促す、シンプルでありながら斬新な目的関数を導入します。
トークン取得の改善により、XTR は文書内のすべてのトークンではなく、取得したトークンのみを使用して候補をランク付けできるようになり、ColBERT よりも 2 ～ 3 桁安価に新しく設計されたスコアリング ステージが可能になります。
人気の BEIR ベンチマークでは、XTR は蒸留を行わずに 2.8 nDCG@10 最先端のベンチマークを上回っています。
詳細な分析により、XTR は ColBERT と比較してトークン取得段階の再現性がはるかに優れていることが実証されているため、トークン取得段階を再検討するという決定が裏付けられています。

要約(オリジナル)

Multi-vector retrieval models such as ColBERT [Khattab and Zaharia, 2020] allow token-level interactions between queries and documents, and hence achieve state of the art on many information retrieval benchmarks. However, their non-linear scoring function cannot be scaled to millions of documents, necessitating a three-stage process for inference: retrieving initial candidates via token retrieval, accessing all token vectors, and scoring the initial candidate documents. The non-linear scoring function is applied over all token vectors of each candidate document, making the inference process complicated and slow. In this paper, we aim to simplify the multi-vector retrieval by rethinking the role of token retrieval. We present XTR, ConteXtualized Token Retriever, which introduces a simple, yet novel, objective function that encourages the model to retrieve the most important document tokens first. The improvement to token retrieval allows XTR to rank candidates only using the retrieved tokens rather than all tokens in the document, and enables a newly designed scoring stage that is two-to-three orders of magnitude cheaper than that of ColBERT. On the popular BEIR benchmark, XTR advances the state-of-the-art by 2.8 nDCG@10 without any distillation. Detailed analysis confirms our decision to revisit the token retrieval stage, as XTR demonstrates much better recall of the token retrieval stage compared to ColBERT.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google