Precise Zero-Shot Pointwise Ranking with LLMs through Post-Aggregated Global Context Information

要約

最近の進歩により、ゼロショットドキュメントランキングの大規模な言語モデル（LLMS）の力がうまく活用され、さまざまなプロンプト戦略が調査されています。
ペアワイズやリストワイズなどの比較アプローチは、高い効果を達成しますが、計算的に集中しているため、大規模なアプリケーションでは実用的ではありません。
スコアリングベースのポイントワイズアプローチは、各候補ドキュメントの関連性スコアを独立して同時に生成することにより、優れた効率を示します。
ただし、この独立性は、ドキュメント間の重要な比較洞察を無視しているため、一貫性のないスコアリングと最適ではないパフォーマンスが発生します。
この論文では、2つの重要なイノベーションを通じて効率を維持しながら、ポイントワイズメソッドの有効性を向上させることを目指しています。（1）各候補とアンカードキュメント間のグローバルな参照比較を組み込んだ新しいグローバルな比較ポイントワイズランキング（GCCP）戦略を提案して、コントラストの関連性スコアを生成します。
アンカードキュメントを、ドキュメント比較のためにグローバルなコンテキストをキャプチャすることにより、効果的な基準点として機能する擬似関連候補のクエリ中心の要約として戦略的に設計します。
（2）これらの対照的な関連性スコアは、既存のポイントワイズメソッドと効率的に凝集し、トレーニングなしの方法で重要なグローバルコンテキスト情報をシームレスに統合することができます（PAGC）。
TREC DLおよびBeirベンチマークでの広範な実験は、私たちのアプローチが同等の効率を維持しながら、以前のポイントワイズメソッドを大幅に上回ることを示しています。
また、私たちの方法は、実質的により多くの計算リソースを必要とする比較方法に対して競争力のあるパフォーマンスを達成します。
より多くの分析により、アンカー構築戦略の有効性がさらに検証されます。

要約(オリジナル)

Recent advancements have successfully harnessed the power of Large Language Models (LLMs) for zero-shot document ranking, exploring a variety of prompting strategies. Comparative approaches like pairwise and listwise achieve high effectiveness but are computationally intensive and thus less practical for larger-scale applications. Scoring-based pointwise approaches exhibit superior efficiency by independently and simultaneously generating the relevance scores for each candidate document. However, this independence ignores critical comparative insights between documents, resulting in inconsistent scoring and suboptimal performance. In this paper, we aim to improve the effectiveness of pointwise methods while preserving their efficiency through two key innovations: (1) We propose a novel Global-Consistent Comparative Pointwise Ranking (GCCP) strategy that incorporates global reference comparisons between each candidate and an anchor document to generate contrastive relevance scores. We strategically design the anchor document as a query-focused summary of pseudo-relevant candidates, which serves as an effective reference point by capturing the global context for document comparison. (2) These contrastive relevance scores can be efficiently Post-Aggregated with existing pointwise methods, seamlessly integrating essential Global Context information in a training-free manner (PAGC). Extensive experiments on the TREC DL and BEIR benchmark demonstrate that our approach significantly outperforms previous pointwise methods while maintaining comparable efficiency. Our method also achieves competitive performance against comparative methods that require substantially more computational resources. More analyses further validate the efficacy of our anchor construction strategy.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google