Parameter-Efficient Sparse Retrievers and Rerankers using Adapters

要約

アダプターを使用したパラメーター効率の高い転移学習は、完全な微調整の代替として、自然言語処理 (NLP) で研究されています。
アダプターはメモリ効率が高く、トランスフォーマー レイヤー間に追加された小さなボトルネック レイヤーをトレーニングすることで、ダウンストリーム タスクに合わせて適切にスケーリングできますが、事前トレーニング済みの大規模な言語モデル (PLM) は凍結されたままです。
NLP で有望な結果を示しているにもかかわらず、これらの方法は情報検索では十分に調査されていません。
以前の研究では、デンス レトリーバーまたはクロスリンガル検索シナリオでのみ実験が行われましたが、このホワイト ペーパーでは、IR でのアダプターの使用に関する全体像を完成させることを目指しています。
まず、スパース レトリーバーである SPLADE のアダプターを調べます。このアダプターは、微調整によって達成される効率と有効性を保持するだけでなく、メモリ効率が高く、トレーニングが桁違いに軽量です。
Adapters-SPLADE は、トレーニング パラメーターのわずか 2\% を最適化するだけでなく、IR ベンチマーク データセットで、完全に微調整された対応する既存のパラメーター効率の高い高密度 IR モデルよりも優れていることがわかります。
次に、クロスドメイン BEIR データセットと TripClick のアダプターのおかげで、ニューラル検索のドメイン適応に対処します。
最後に、リランカーとファースト ステージ ランカーの間の知識共有についても検討します。
全体として、私たちの研究は神経IRのアダプターの調査を完了しました

要約(オリジナル)

Parameter-Efficient transfer learning with Adapters have been studied in Natural Language Processing (NLP) as an alternative to full fine-tuning. Adapters are memory-efficient and scale well with downstream tasks by training small bottle-neck layers added between transformer layers while keeping the large pretrained language model (PLMs) frozen. In spite of showing promising results in NLP, these methods are under-explored in Information Retrieval. While previous studies have only experimented with dense retriever or in a cross lingual retrieval scenario, in this paper we aim to complete the picture on the use of adapters in IR. First, we study adapters for SPLADE, a sparse retriever, for which adapters not only retain the efficiency and effectiveness otherwise achieved by finetuning, but are memory-efficient and orders of magnitude lighter to train. We observe that Adapters-SPLADE not only optimizes just 2\% of training parameters, but outperforms fully fine-tuned counterpart and existing parameter-efficient dense IR models on IR benchmark datasets. Secondly, we address domain adaptation of neural retrieval thanks to adapters on cross-domain BEIR datasets and TripClick. Finally, we also consider knowledge sharing between rerankers and first stage rankers. Overall, our study complete the examination of adapters for neural IR

arxiv情報

提供元, 利用サービス

arxiv.jp, Google