Jina-ColBERT-v2: A General-Purpose Multilingual Late Interaction Retriever

要約

ColBERT などのマルチベクトル高密度モデルは、情報検索に非常に効果的であることが証明されています。
ColBERT の遅延インタラクション スコアリングは、バイ エンコーダ アーキテクチャと最近のインデックス作成と検索の最適化のおかげで、従来の高密度検索モデルに近い推論効率を維持しながら、クロス エンコーダで見られるクエリとドキュメントの結合アテンションを近似します。
このペーパーでは、より確立された単一ベクトル埋め込みモデル パラダイムで成功した技術、特に異種多言語データに適した技術を活用して、ColBERT モデル アーキテクチャとトレーニング パイプラインに対するいくつかの改善を紹介します。
当社の新しいモデルである Jina-ColBERT-v2 は、さまざまな英語および多言語の検索タスクにわたって強力なパフォーマンスを発揮すると同時に、以前のモデルと比較してストレージ要件を最大 50% 削減します。

要約(オリジナル)

Multi-vector dense models, such as ColBERT, have proven highly effective in information retrieval. ColBERT’s late interaction scoring approximates the joint query-document attention seen in cross-encoders while maintaining inference efficiency closer to traditional dense retrieval models, thanks to its bi-encoder architecture and recent optimizations in indexing and search. In this paper, we introduce several improvements to the ColBERT model architecture and training pipeline, leveraging techniques successful in the more established single-vector embedding model paradigm, particularly those suited for heterogeneous multilingual data. Our new model, Jina-ColBERT-v2, demonstrates strong performance across a range of English and multilingual retrieval tasks, while also cutting storage requirements by up to 50% compared to previous models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google