Self-Calibrated Listwise Reranking with Large Language Models

要約

高度な言語機能を備えた大規模言語モデル (LLM) は、シーケンスツーシーケンスのアプローチによるタスクの再ランキングに採用されています。
このパラダイムでは、複数のパッセージがリスト形式で再ランク付けされ、テキストの再ランク付けされた順列が生成されます。
ただし、LLM のコンテキスト ウィンドウが限られているため、この再ランキング パラダイムでは、より大きな候補セットを繰り返し処理するためのスライディング ウィンドウ戦略が必要です。
これにより、計算コストが増加するだけでなく、LLM がすべての候補のすべての比較情報を完全に取得できなくなります。
これらの課題に対処するために、私たちは、LLM を活用してランキングのためのグローバル関連性スコアを生成することを目的とした、新しい自己調整されたリストごとの再ランキング手法を提案します。
これを達成するために、まず、関連性を意識したリストごとの再ランキング フレームワークを提案します。このフレームワークには、明示的なリストビューの関連性スコアが組み込まれて、再ランキングの効率が向上し、候補セット全体にわたるグローバルな比較が可能になります。
次に、計算されたスコアの比較可能性を確保するために、LLM 自体によって内部的に生成された観点からの関連性評価を使用してリストビューの関連性評価を調整する自己調整トレーニングを提案します。
BEIR ベンチマークと TREC ディープ ラーニング トラックに関する広範な実験と包括的な分析により、提案された手法の有効性と効率性が実証されました。

要約(オリジナル)

Large language models (LLMs), with advanced linguistic capabilities, have been employed in reranking tasks through a sequence-to-sequence approach. In this paradigm, multiple passages are reranked in a listwise manner and a textual reranked permutation is generated. However, due to the limited context window of LLMs, this reranking paradigm requires a sliding window strategy to iteratively handle larger candidate sets. This not only increases computational costs but also restricts the LLM from fully capturing all the comparison information for all candidates. To address these challenges, we propose a novel self-calibrated listwise reranking method, which aims to leverage LLMs to produce global relevance scores for ranking. To achieve it, we first propose the relevance-aware listwise reranking framework, which incorporates explicit list-view relevance scores to improve reranking efficiency and enable global comparison across the entire candidate set. Second, to ensure the comparability of the computed scores, we propose self-calibrated training that uses point-view relevance assessments generated internally by the LLM itself to calibrate the list-view relevance assessments. Extensive experiments and comprehensive analysis on the BEIR benchmark and TREC Deep Learning Tracks demonstrate the effectiveness and efficiency of our proposed method.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google