SPLADE-v3: New baselines for SPLADE

要約

SPLADE ライブラリの最新バージョンのリリースに付随するものです。
トレーニング構造の変更について説明し、最新のモデル シリーズである SPLADE-v3 を紹介します。
この新しいバージョンを BM25、SPLADE++、および再ランカーと比較し、40 を超えるクエリ セットにわたるメタ分析を通じてその有効性を示します。
SPLADE-v3 は SPLADE モデルの限界をさらに押し広げます。統計的には BM25 と SPLADE++ の両方よりも大幅に効果的であり、クロスエンコーダーのリランカーと比較しても優れています。
具体的には、MS MARCO 開発セットで 40 MRR@10 を超え、BEIR ベンチマークのドメイン外の結果が 2% 改善されています。

要約(オリジナル)

A companion to the release of the latest version of the SPLADE library. We describe changes to the training structure and present our latest series of models — SPLADE-v3. We compare this new version to BM25, SPLADE++, as well as re-rankers, and showcase its effectiveness via a meta-analysis over more than 40 query sets. SPLADE-v3 further pushes the limit of SPLADE models: it is statistically significantly more effective than both BM25 and SPLADE++, while comparing well to cross-encoder re-rankers. Specifically, it gets more than 40 MRR@10 on the MS MARCO dev set, and improves by 2% the out-of-domain results on the BEIR benchmark.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google