CoRanking: Collaborative Ranking with Small and Large Ranking Agents

要約

大規模な言語モデル（LLMS）は、リストワイズランキングのパフォーマンスを実証しています。
ただし、それらの優れたパフォーマンスは、多くの場合、大規模なパラメーター（\ eg、GPT-4）と、重要な効率の課題をもたらす繰り返しスライドウィンドウプロセスに依存しています。
この論文では、効率的かつ効果的なランキングのために大小のランキングモデルを組み合わせた新しい共同ランキングフレームワークである\ TextBF {Corankking}を提案します。
Corankkingは、最初に小型の再審査員を採用してすべての候補者のパッセージを事前にランク付けし、関連する候補者をリストの上部にもたらします（\ eg、Top-20）。
次に、LLM ListWise Rerankerが適用され、リスト全体の代わりにこれらのトップランクのパッセージのみを再確認し、全体的なランキング効率を大幅に向上させます。
より効率的ですが、以前の研究では、LLMリストワイズリランカーが入力範囲の順序に有意な位置バイアスを持っていることが明らかになりました。
小規模な再発者からトップランクのパッセージを直接供給すると、LLM ListWise Rerankerの最適なパフォーマンスが発生する可能性があります。
この問題を軽減するために、補強学習を介して訓練されたパッセージオーダーアジャスターを導入します。これは、LLMのパッセージ順序の好みに合わせて、小さな再生者からの最上部のパッセージを再配置します。
3つのIRベンチマークでの広範な実験は、CorankingがLLMリストワイズレランカーのみを使用するのと比較してさらに優れた効果を達成しながら、コランティングが効率を大幅に改善することを示しています。

要約(オリジナル)

Large Language Models (LLMs) have demonstrated superior listwise ranking performance. However, their superior performance often relies on large-scale parameters (\eg, GPT-4) and a repetitive sliding window process, which introduces significant efficiency challenges. In this paper, we propose \textbf{CoRanking}, a novel collaborative ranking framework that combines small and large ranking models for efficient and effective ranking. CoRanking first employs a small-size reranker to pre-rank all the candidate passages, bringing relevant ones to the top part of the list (\eg, top-20). Then, the LLM listwise reranker is applied to only rerank these top-ranked passages instead of the whole list, substantially enhancing overall ranking efficiency. Although more efficient, previous studies have revealed that the LLM listwise reranker have significant positional biases on the order of input passages. Directly feed the top-ranked passages from small reranker may result in the sub-optimal performance of LLM listwise reranker. To alleviate this problem, we introduce a passage order adjuster trained via reinforcement learning, which reorders the top passages from the small reranker to align with the LLM’s preferences of passage order. Extensive experiments on three IR benchmarks demonstrate that CoRanking significantly improves efficiency (reducing ranking latency by about 70\%) while achieving even better effectiveness compared to using only the LLM listwise reranker.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google