Enhancing Q&A Text Retrieval with Ranking Models: Benchmarking, fine-tuning and deploying Rerankers for RAG

要約

ランキング モデルは、テキスト検索システムの全体的な精度を向上させる上で重要な役割を果たします。
これらの多段階システムは通常、高密度埋め込みモデルまたは疎語彙インデックスのいずれかを利用して、指定されたクエリに基づいて関連するパッセージを取得し、その後、クエリとの関連性によって候補パッセージの順序を絞り込むランク付けモデルが続きます。
このペーパーでは、公開されているさまざまなランキング モデルをベンチマークし、ランキングの精度に対するそれらの影響を調査します。
私たちは、検索拡張生成システムの一般的な使用例である、質問応答タスクのテキスト検索に焦点を当てています。
当社の評価ベンチマークには、産業用アプリケーションとして商業的に実行可能なモデルも含まれています。
最先端のランキング モデル NV-RerankQA-Mistral-4B-v3 を導入します。これは、他のリランカーを使用したパイプラインと比較して、最大 14% の大幅な精度向上を達成します。
また、さまざまなサイズ、損失、自己注意メカニズムを備えたランク付けモデルの微調整を比較するアブレーション研究も提供します。
最後に、実際の業界アプリケーションにおけるランク付けモデルを使用したテキスト検索パイプラインの課題、特にモデルのサイズ、ランク付けの精度、インデックス付けやサービス提供のレイテンシー/スループットなどのシステム要件の間のトレードオフについて説明します。

要約(オリジナル)

Ranking models play a crucial role in enhancing overall accuracy of text retrieval systems. These multi-stage systems typically utilize either dense embedding models or sparse lexical indices to retrieve relevant passages based on a given query, followed by ranking models that refine the ordering of the candidate passages by its relevance to the query. This paper benchmarks various publicly available ranking models and examines their impact on ranking accuracy. We focus on text retrieval for question-answering tasks, a common use case for Retrieval-Augmented Generation systems. Our evaluation benchmarks include models some of which are commercially viable for industrial applications. We introduce a state-of-the-art ranking model, NV-RerankQA-Mistral-4B-v3, which achieves a significant accuracy increase of ~14% compared to pipelines with other rerankers. We also provide an ablation study comparing the fine-tuning of ranking models with different sizes, losses and self-attention mechanisms. Finally, we discuss challenges of text retrieval pipelines with ranking models in real-world industry applications, in particular the trade-offs among model size, ranking accuracy and system requirements like indexing and serving latency / throughput.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google