InstUPR : Instruction-based Unsupervised Passage Reranking with Large Language Models

要約

この論文では、大規模言語モデル (LLM) に基づいた教師なしパッセージ再ランキング手法である InstUPR を紹介します。
クエリとドキュメントのペアや検索固有の命令による広範なトレーニングに依存する既存のアプローチとは異なり、私たちの方法は、追加の微調整を行わずにパッセージの再ランキングに命令調整された LLM の命令追従機能を利用します。
これを達成するために、ソフト スコア集計手法を導入し、教師なしパッセージの再ランキングにペアごとの再ランキングを採用します。
BEIR ベンチマークの実験では、InstUPR が教師なしベースラインや命令調整されたリランカーよりも優れたパフォーマンスを示し、その有効性と優位性が強調されています。
すべての実験を再現するためのソース コードは、https://github.com/MiuLab/InstUPR でオープンソース化されています。

要約(オリジナル)

This paper introduces InstUPR, an unsupervised passage reranking method based on large language models (LLMs). Different from existing approaches that rely on extensive training with query-document pairs or retrieval-specific instructions, our method leverages the instruction-following capabilities of instruction-tuned LLMs for passage reranking without any additional fine-tuning. To achieve this, we introduce a soft score aggregation technique and employ pairwise reranking for unsupervised passage reranking. Experiments on the BEIR benchmark demonstrate that InstUPR outperforms unsupervised baselines as well as an instruction-tuned reranker, highlighting its effectiveness and superiority. Source code to reproduce all experiments is open-sourced at https://github.com/MiuLab/InstUPR

arxiv情報

提供元, 利用サービス

arxiv.jp, Google