Boot and Switch: Alternating Distillation for Zero-Shot Dense Retrieval

要約

ニューラルの「高密度」検索モデルは多くのデータセットにとって最先端ですが、これらのモデルはドメイン転送能力が限られていることがよくあります。
適応への既存のアプローチは、明示的な監視、複雑なモデル アーキテクチャ、または大規模な外部モデルを必要とするなど、扱いにくいものです。
$\texttt{ABEL}$ は、ゼロショット設定でのパッセージ検索を強化するシンプルだが効果的な教師なし手法を紹介します。
私たちの技術は単純なループに従います。つまり、デンス リトリーバーはリランカーによって提供される監視信号から学習し、その後、改良されたリランカーからのフィードバックに基づいてリランカーが更新されます。
このループを繰り返すことにより、2 つのコンポーネントは相互にパフォーマンスを向上させます。
実験結果は、教師なし $\texttt{ABEL}$ モデルが、BEIR ベンチマークで主要な教師あり取得者と教師なし取得者の両方を上回るパフォーマンスを示していることを示しています。
一方で、訓練中には見ら​​れなかった課題や領域への高い適応能力を発揮します。
ラベル付きデータに対して $\texttt{ABEL}$ を微調整するか、既存の教師ありデンス リトリーバーと統合することにより、最先端の結果が得られます。\footnote{ソース コードは \url{https:// で入手できます。
github.com/Fantabulous-J/BootSwitch}.}

要約(オリジナル)

Neural ‘dense’ retrieval models are state of the art for many datasets, however these models often exhibit limited domain transfer ability. Existing approaches to adaptation are unwieldy, such as requiring explicit supervision, complex model architectures, or massive external models. We present $\texttt{ABEL}$, a simple but effective unsupervised method to enhance passage retrieval in zero-shot settings. Our technique follows a straightforward loop: a dense retriever learns from supervision signals provided by a reranker, and subsequently, the reranker is updated based on feedback from the improved retriever. By iterating this loop, the two components mutually enhance one another’s performance. Experimental results demonstrate that our unsupervised $\texttt{ABEL}$ model outperforms both leading supervised and unsupervised retrievers on the BEIR benchmark. Meanwhile, it exhibits strong adaptation abilities to tasks and domains that were unseen during training. By either fine-tuning $\texttt{ABEL}$ on labelled data or integrating it with existing supervised dense retrievers, we achieve state-of-the-art results.\footnote{Source code is available at \url{https://github.com/Fantabulous-J/BootSwitch}.}

arxiv情報

提供元, 利用サービス

arxiv.jp, Google