Mistral-SPLADE: LLMs for better Learned Sparse Retrieval

要約

学習型スパース リトリーバー (LSR) は、従来のキーワード ベースのスパース リトリーバーと埋め込みベースのデンス リトリーバーとの間のギャップを埋めることができる効果的な検索戦略に進化しました。
その核心として、学習されたスパース検索機能は、クエリやドキュメントから最も重要な意味論的なキーワード拡張を学習しようとします。これにより、重複するキーワード拡張によるより良い検索が容易になります。
SPLADE のような LSR は通常、ハード ネガティブ マイニングや蒸留などの既知の検索パフォーマンス向上方法と組み合わせて、MLM (マスクされた言語モデリング) スタイルの目的を持つエンコーダのみのモデルを使用してきました。この作業では、デコーダのみのモデルを使用することを提案します。
意味論的なキーワード拡張を学習するため。
私たちは、はるかに大きな規模のデータを検出したデコーダのみのモデルは、検索の向上に必要なキーワード拡張を学習する能力が優れていると仮定します。
私たちは Mistral をバックボーンとして使用して、SPLADE と同様の学習済みスパース レトリバーを開発し、テキスト埋め込みモデルのトレーニングによく使用される文変換データのサブセットでトレーニングします。
私たちの実験は、デコーダのみの大規模言語モデル (LLM) に基づくスパース検索モデルが、SPLADE とそのすべてのバリアントを含む既存の LSR システムのパフォーマンスを上回るという仮説を裏付けています。
LLM ベースのモデル (Echo-Mistral-SPLADE) は、現在、BEIR テキスト検索ベンチマークにおける最先端の学習済みスパース検索モデルとして機能しています。

要約(オリジナル)

Learned Sparse Retrievers (LSR) have evolved into an effective retrieval strategy that can bridge the gap between traditional keyword-based sparse retrievers and embedding-based dense retrievers. At its core, learned sparse retrievers try to learn the most important semantic keyword expansions from a query and/or document which can facilitate better retrieval with overlapping keyword expansions. LSR like SPLADE has typically been using encoder only models with MLM (masked language modeling) style objective in conjunction with known ways of retrieval performance improvement such as hard negative mining, distillation, etc. In this work, we propose to use decoder-only model for learning semantic keyword expansion. We posit, decoder only models that have seen much higher magnitudes of data are better equipped to learn keyword expansions needed for improved retrieval. We use Mistral as the backbone to develop our Learned Sparse Retriever similar to SPLADE and train it on a subset of sentence-transformer data which is often used for training text embedding models. Our experiments support the hypothesis that a sparse retrieval model based on decoder only large language model (LLM) surpasses the performance of existing LSR systems, including SPLADE and all its variants. The LLM based model (Echo-Mistral-SPLADE) now stands as a state-of-the-art learned sparse retrieval model on the BEIR text retrieval benchmark.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google