Few-shot Pairwise Rank Prompting: An Effective Non-Parametric Retrieval Model

要約

教師ありランキング モデルは、効果的であるという利点にもかかわらず、通常は複雑な処理、つまりタスク固有の事前トレーニングと微調整の複数の段階を必要とします。
これにより、研究者は、ゼロショット方式で動作できる大規模言語モデル (LLM) を活用した、よりシンプルなパイプラインを探索するようになりました。
ただし、ゼロショット推論はクエリとその関連ドキュメントのペアのトレーニング セットを利用しないため、そのパフォーマンスは、そのようなサンプル ペアでトレーニングされた教師ありモデルのパフォーマンスよりもほとんど劣ります。
トレーニング例が一般的にゼロショットのパフォーマンスを向上させるという既存の調査結果に動機付けられ、私たちの研究では、これがランキング モデルにも当てはまるかどうかを調査しました。
より具体的には、クエリとドキュメントのペアが与えられた場合、トレーニング セットから同様のクエリに対する好みの例を増やすことによって、好みの予測タスクが改善されます。
私たちが提案したペアごとの少数ショット ランカーは、ドメイン内 (TREC DL) とドメイン外 (BEIR サブセット) の両方の取得ベンチマークでゼロショット ベースラインを上回る一貫した改善を示しています。
また、私たちの方法は、複雑なトレーニング パイプラインを必要とせずに、教師ありモデルに近いパフォーマンスを実現します。

要約(オリジナル)

A supervised ranking model, despite its advantage of being effective, usually involves complex processing – typically multiple stages of task-specific pre-training and fine-tuning. This has motivated researchers to explore simpler pipelines leveraging large language models (LLMs) that are capable of working in a zero-shot manner. However, since zero-shot inference does not make use of a training set of pairs of queries and their relevant documents, its performance is mostly worse than that of supervised models, which are trained on such example pairs. Motivated by the existing findings that training examples generally improve zero-shot performance, in our work, we explore if this also applies to ranking models. More specifically, given a query and a pair of documents, the preference prediction task is improved by augmenting examples of preferences for similar queries from a training set. Our proposed pairwise few-shot ranker demonstrates consistent improvements over the zero-shot baseline on both in-domain (TREC DL) and out-domain (BEIR subset) retrieval benchmarks. Our method also achieves a close performance to that of a supervised model without requiring any complex training pipeline.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google