LTRR: Learning To Rank Retrievers for LLMs

要約

検索された生成（RAG）システムは通常、すべてのクエリタイプで最適に実行される単一のレトリバーが最適に実行されないという証拠が増えているにもかかわらず、単一の固定レトリバーに依存しています。
このホワイトペーパーでは、クエリに基づいてレトリバーのプールから動的に選択するクエリルーティングアプローチを検討し、列車のないヒューリスティックと学習ルーティングモデルの両方を使用します。
ルーティングをランクの学習（LTR）問題としてフレーム化し、LTRRを導入します。LTRRは、予想されるユーティリティゲインでレトリバーをダウンストリームLLMパフォーマンスにランク付けすることを学ぶフレームワークです。
制御されたクエリタイプのバリエーションを使用して合成QAデータで実施された実験は、ルーティングベースのRAGシステムが最高のシングルリトリーバーベースのシステムよりも優れていることを示しています。
パフォーマンスの向上は、回答正確性（AC）メトリックと特にXGBoostでのペアワイズ学習アプローチで訓練されたモデルで特に顕著です。
また、分散除外クエリへの一般化の改善も観察されます。
Sigir 2025 Liverag Challengeの一環として、提出されたシステムは、私たちのアプローチの実用的な実行可能性を実証し、回答の正確性と忠実さの両方で競争力のあるパフォーマンスを達成しました。
これらの調査結果は、RAGシステムのクエリルーティングにおけるトレーニング方法とメトリック選択の両方の重要性を強調しています。

要約(オリジナル)

Retrieval-Augmented Generation (RAG) systems typically rely on a single fixed retriever, despite growing evidence that no single retriever performs optimally across all query types. In this paper, we explore a query routing approach that dynamically selects from a pool of retrievers based on the query, using both train-free heuristics and learned routing models. We frame routing as a learning-to-rank (LTR) problem and introduce LTRR, a framework that learns to rank retrievers by their expected utility gain to downstream LLM performance. Our experiments, conducted on synthetic QA data with controlled query type variations, show that routing-based RAG systems can outperform the best single-retriever-based systems. Performance gains are especially pronounced in models trained with the Answer Correctness (AC) metric and with pairwise learning approaches, especially with XGBoost. We also observe improvements in generalization to out-of-distribution queries. As part of the SIGIR 2025 LiveRAG challenge, our submitted system demonstrated the practical viability of our approach, achieving competitive performance in both answer correctness and faithfulness. These findings highlight the importance of both training methodology and metric selection in query routing for RAG systems.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google