Leveraging Passage Embeddings for Efficient Listwise Reranking with Large Language Models

要約

最近の研究では、通過ランキングで大規模な言語モデル（LLM）を使用することの有効性が実証されています。
RANKGPTなどのリストごとのアプローチは、このタスクで新しい最先端になりました。
ただし、RANKGPTモデルの効率は、LLM推論の最大コンテキスト長と比較的高い遅延によって制限されます。
これらの問題に対処するために、この論文では、PEランクを提案し、効率的なリストワイズパッセージ再ランキングのための優れたコンテキスト圧縮として単一の通過埋め込みを活用します。
各パッセージを特別なトークンとして扱うことにより、通過埋め込みをLLMに直接入力して、入力長を短縮できます。
さらに、デコード空間をこれらの特別なトークンに動的に制約し、デコードプロセスを加速する推論方法を導入します。
モデルを再ランキングに適応させるために、トレーニングの損失をランク付けするためにリストワイズの学習を採用しています。
複数のベンチマークでの評価結果は、PEランクが競争力のあるランキングの有効性を維持しながら、プレフィルとデコードの両方の効率を大幅に改善することを示しています。
コードはhttps://github.com/liuqi6777/pe_rankで入手できます。

要約(オリジナル)

Recent studies have demonstrated the effectiveness of using large language language models (LLMs) in passage ranking. The listwise approaches, such as RankGPT, have become new state-of-the-art in this task. However, the efficiency of RankGPT models is limited by the maximum context length and relatively high latency of LLM inference. To address these issues, in this paper, we propose PE-Rank, leveraging the single passage embedding as a good context compression for efficient listwise passage reranking. By treating each passage as a special token, we can directly input passage embeddings into LLMs, thereby reducing input length. Additionally, we introduce an inference method that dynamically constrains the decoding space to these special tokens, accelerating the decoding process. For adapting the model to reranking, we employ listwise learning to rank loss for training. Evaluation results on multiple benchmarks demonstrate that PE-Rank significantly improves efficiency in both prefilling and decoding, while maintaining competitive ranking effectiveness. The Code is available at https://github.com/liuqi6777/pe_rank.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google