EcoRank: Budget-Constrained Text Re-ranking Using Large Language Models

要約

大規模言語モデル (LLM) は、テキストの再ランキングにおいて最先端のパフォーマンスを達成しました。
このプロセスには、ポイントごと、リストごと、およびペアごとのプロンプト戦略を利用して、プロンプト内のクエリと候補パッセージが含まれます。
LLM を使用したこれらのランキング戦略の制限はコストです。入出力トークンの数に基づく API 料金により、プロセスが高価になる可能性があります。
私たちは、プロンプト選択肢、LLM API、および予算分割の広大な検索空間をナビゲートすることにより、予算を考慮して再ランキングのパフォーマンスを最大化する方法を研究します。
私たちは、一連の LLM API を使用してテキストの再ランキングを実行する、予算に制約のある一連の方法を提案します。
EcoRank と呼ばれる最も効率的な方法は、プロンプト戦略と LLM API 全体にわたる予算配分に関する決定を共同で最適化する 2 層パイプラインです。
4 つの人気のある QA およびパッセージ再ランキング データセットに関する実験結果は、EcoRank が他の予算を意識した教師ありおよび教師なしのベースラインよりも優れていることを示しています。

要約(オリジナル)

Large Language Models (LLMs) have achieved state-of-the-art performance in text re-ranking. This process includes queries and candidate passages in the prompts, utilizing pointwise, listwise, and pairwise prompting strategies. A limitation of these ranking strategies with LLMs is their cost: the process can become expensive due to API charges, which are based on the number of input and output tokens. We study how to maximize the re-ranking performance given a budget, by navigating the vast search spaces of prompt choices, LLM APIs, and budget splits. We propose a suite of budget-constrained methods to perform text re-ranking using a set of LLM APIs. Our most efficient method, called EcoRank, is a two-layered pipeline that jointly optimizes decisions regarding budget allocation across prompt strategies and LLM APIs. Our experimental results on four popular QA and passage reranking datasets show that EcoRank outperforms other budget-aware supervised and unsupervised baselines.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google