TourRank: Utilizing Large Language Models for Documents Ranking with a Tournament-Inspired Strategy

要約

大規模な言語モデル（LLM）は、ゼロショットドキュメントのランキングでますます採用されており、称賛に値する結果が得られます。
ただし、ランキングのためにLLMSには依然としていくつかの重要な課題が続きます。（1）LLMは、入力長が限られており、多数のドキュメントを同時に処理することを妨げています。
（2）出力ドキュメントシーケンスは、ドキュメントの入力順序の影響を受け、一貫性のないランキング結果をもたらします。
（3）コストとランキングのパフォーマンスのバランスをとることは困難です。
これらの問題に取り組むために、FIFAワールドカップなどのスポーツトーナメントに触発されたTourrankと呼ばれる新しいドキュメントランキング方法を紹介します。
具体的には、1）入力長の制限を克服し、スポーツトーナメントの並列グループステージと同様のマルチステージグループ戦略を組み込むことにより、ランキングレイテンシを削減します。
2）ポイントシステムを使用して複数のランキング結果をアンサンブルすることにより、ランキングのパフォーマンスと堅牢性を入力するためのrobust性を改善します。
TREC DLデータセットとBeirベンチマークで異なるLLMを使用してTourrankをテストします。
実験結果は、Tourrankが適度なコストで最先端のパフォーマンスを提供することを示しています。
Tourrankのコードは、https：//github.com/chenyiqun/tourrankで見ることができます。

要約(オリジナル)

Large Language Models (LLMs) are increasingly employed in zero-shot documents ranking, yielding commendable results. However, several significant challenges still persist in LLMs for ranking: (1) LLMs are constrained by limited input length, precluding them from processing a large number of documents simultaneously; (2) The output document sequence is influenced by the input order of documents, resulting in inconsistent ranking outcomes; (3) Achieving a balance between cost and ranking performance is challenging. To tackle these issues, we introduce a novel documents ranking method called TourRank, which is inspired by the sport tournaments, such as FIFA World Cup. Specifically, we 1) overcome the limitation in input length and reduce the ranking latency by incorporating a multi-stage grouping strategy similar to the parallel group stage of sport tournaments; 2) improve the ranking performance and robustness to input orders by using a points system to ensemble multiple ranking results. We test TourRank with different LLMs on the TREC DL datasets and the BEIR benchmark. The experimental results demonstrate that TourRank delivers state-of-the-art performance at a modest cost. The code of TourRank can be seen on https://github.com/chenyiqun/TourRank.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google