Rethinking the Role of Token Retrieval in Multi-Vector Retrieval

要約

タイトル: マルチ-ベクトル検索におけるトークン検索の役割の再考
要約:
– ColBERTといったマルチ-ベクトル検索モデルでは、トークンレベルの検索を可能にし、多くの情報検索ベンチマークで最先端の成果を出しています。
– しかし、非線形スコアリング関数は数百万のドキュメントにはスケーリングできず、3段階のプロセスが推論に必要となります。
– この論文では、トークン検索の役割を再考することで、マルチ-ベクトル検索を簡素化することを目的としています。
– 新しいアプローチとして、ConteXtualized Token Retriever(XTR)を提案しています。
– XTRはモデルが最も重要なトークンを優先的に取得するための目的関数を導入し、トークン検索の改善により、文書内の全てのトークンを利用するのではなく、取得したトークンのみを利用して候補のランキングを行うことができるようになりました。
– その結果、ColBERTより2.8 nDCG@10向上し、新しいスコアリング段階が設計され、ColBERTのスコアリング段階と比べて数桁安いという特徴があります。
– 詳細な分析により、XTRはColBERTに比べてトークン検索ステージの召回率が大幅に改善されたことがわかりました。

要約(オリジナル)

Multi-vector retrieval models such as ColBERT [Khattab and Zaharia, 2020] allow token-level interactions between queries and documents, and hence achieve state of the art on many information retrieval benchmarks. However, their non-linear scoring function cannot be scaled to millions of documents, necessitating a three-stage process for inference: retrieving initial candidates via token retrieval, accessing all token vectors, and scoring the initial candidate documents. The non-linear scoring function is applied over all token vectors of each candidate document, making the inference process complicated and slow. In this paper, we aim to simplify the multi-vector retrieval by rethinking the role of token retrieval. We present XTR, ConteXtualized Token Retriever, which introduces a simple, yet novel, objective function that encourages the model to retrieve the most important document tokens first. The improvement to token retrieval allows XTR to rank candidates only using the retrieved tokens rather than all tokens in the document, and enables a newly designed scoring stage that is two-to-three orders of magnitude cheaper than that of ColBERT. On the popular BEIR benchmark, XTR advances the state-of-the-art by 2.8 nDCG@10 without any distillation. Detailed analysis confirms our decision to revisit the token retrieval stage, as XTR demonstrates much better recall of the token retrieval stage compared to ColBERT.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI