TourRank: Utilizing Large Language Models for Documents Ranking with a Tournament-Inspired Strategy

要約

大規模言語モデル (LLM) は、ゼロショット ドキュメントのランキングにますます採用されており、賞賛に値する結果をもたらしています。
しかし、LLM のランク付けには依然としていくつかの重要な課題が残っています。(1) LLM は入力長が制限されているため、多数のドキュメントを同時に処理できません。
(2) 出力ドキュメントの順序はドキュメントの入力順序の影響を受けるため、一貫性のないランキング結果が生じます。
(3) コストとランキングのパフォーマンスのバランスを達成することは非常に困難です。
これらの問題に取り組むために、トーナメントのメカニズムから着想を得た、TourRank と呼ばれる新しいドキュメントのランキング方法を導入します。
このアプローチは、インテリジェントなグループ化を通じて LLM の制限された入力長の影響を軽減し、トーナメントのようなポイント システムにより堅牢なランキングを保証し、文書入力シーケンスの影響を軽減します。
TREC DL データセットと BEIR ベンチマークでさまざまな LLM を使用して TourRank をテストします。
実験結果は、TourRank が合理的なコストで最先端のパフォーマンスを達成することを示しています。

要約(オリジナル)

Large Language Models (LLMs) are increasingly employed in zero-shot documents ranking, yielding commendable results. However, several significant challenges still persist in LLMs for ranking: (1) LLMs are constrained by limited input length, precluding them from processing a large number of documents simultaneously; (2) The output document sequence is influenced by the input order of documents, resulting in inconsistent ranking outcomes; (3) Achieving a balance between cost and ranking performance is quite challenging. To tackle these issues, we introduce a novel documents ranking method called TourRank, which is inspired by the tournament mechanism. This approach alleviates the impact of LLM’s limited input length through intelligent grouping, while the tournament-like points system ensures robust ranking, mitigating the influence of the document input sequence. We test TourRank with different LLMs on the TREC DL datasets and the BEIR benchmark. Experimental results show that TourRank achieves state-of-the-art performance at a reasonable cost.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google