Promptriever: Instruction-Trained Retrievers Can Be Prompted Like Language Models

要約

命令調整言語モデル (LM) は命令型コマンドに応答でき、基本的な言語モデルと比較してより自然なユーザー インターフェイスを提供します。
この研究では、LM のようにプロンプ​​トを表示できる最初の検索モデルである Promptriever を紹介します。
Promptriever をトレーニングするために、MS MARCO から約 500,000 のインスタンスにわたる新しいインスタンス レベルの命令トレーニング セットを厳選してリリースしました。
Promptriever は、標準的な検索タスクで優れたパフォーマンスを達成するだけでなく、指示にも従います。
(1) 詳細な関連性命令に従うことで大きな利益 (SoTA に到達) (FollowIR で +14.3 p-MRR / +3.1 nDCG)、(2) クエリ + 命令の語彙選択/語句に対する堅牢性が大幅に向上 (+12.9)
InstructIR の堅牢性 @10)、(3) プロンプトを介してハイパーパラメータ検索を実行し、取得パフォーマンスを確実に向上させる機能 (BEIR で +1.4 平均増加)。
Promptriever は、クエリごとにプロンプ​​トを使用して検索モデルを制御できることを実証し、LM プロンプト手法と情報検索を連携させる将来の作業の準備を整えます。

要約(オリジナル)

Instruction-tuned language models (LM) are able to respond to imperative commands, providing a more natural user interface compared to their base counterparts. In this work, we present Promptriever, the first retrieval model able to be prompted like an LM. To train Promptriever, we curate and release a new instance-level instruction training set from MS MARCO, spanning nearly 500k instances. Promptriever not only achieves strong performance on standard retrieval tasks, but also follows instructions. We observe: (1) large gains (reaching SoTA) on following detailed relevance instructions (+14.3 p-MRR / +3.1 nDCG on FollowIR), (2) significantly increased robustness to lexical choices/phrasing in the query+instruction (+12.9 Robustness@10 on InstructIR), and (3) the ability to perform hyperparameter search via prompting to reliably improve retrieval performance (+1.4 average increase on BEIR). Promptriever demonstrates that retrieval models can be controlled with prompts on a per-query basis, setting the stage for future work aligning LM prompting techniques with information retrieval.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google