Optimizing Compound Retrieval Systems

要約

最新の検索システムは、単一のランキングモデルに依存してランキングを構築しません。
代わりに、彼らは通常、一連のランキングモデルが複数の再ランク段階で適用されるカスケードアプローチを採用します。
これにより、各モデルの再ランクの数を制限することにより、TOP-Kランキングの品質と計算コストのバランスを取ります。
ただし、カスケードアプローチは、モデルが対話して検索システムを形成する唯一の方法ではありません。
複数の予測モデルを適用するより広いクラスの検索システムとして、複合検索システムの概念を提案します。
これにより、カスケードモデルがカプセル化されていますが、Top-Kの再ランクよりも他のタイプの相互作用も許可します。
特に、相対的な関連性の比較を提供できる大規模な言語モデル（LLM）との相互作用を可能にします。
コンポーネントモデルを適用する場所と予測を最終ランキングに集約する方法を独自に学習するためのユニークな化合物検索システム設計の最適化に焦点を当てます。
この作業は、私たちの複合アプローチが、古典的なBM25検索モデルと最先端の（ペアワイズ）LLM関連予測を組み合わせて、特定のランキングメトリックと効率のターゲットを最適化する方法を示しています。
私たちの実験結果は、最適化された化合物検索システムが、自己監視方法で適用された場合でも、カスケードアプローチよりも有効性と効率の間のより良いトレードオフを提供することを示しています。
化合物検索システムの導入により、情報検索フィールドを、予測モデルがランキングを形成する方法についてのより多くのボックスの考え方に刺激したいと考えています。

要約(オリジナル)

Modern retrieval systems do not rely on a single ranking model to construct their rankings. Instead, they generally take a cascading approach where a sequence of ranking models are applied in multiple re-ranking stages. Thereby, they balance the quality of the top-K ranking with computational costs by limiting the number of documents each model re-ranks. However, the cascading approach is not the only way models can interact to form a retrieval system. We propose the concept of compound retrieval systems as a broader class of retrieval systems that apply multiple prediction models. This encapsulates cascading models but also allows other types of interactions than top-K re-ranking. In particular, we enable interactions with large language models (LLMs) which can provide relative relevance comparisons. We focus on the optimization of compound retrieval system design which uniquely involves learning where to apply the component models and how to aggregate their predictions into a final ranking. This work shows how our compound approach can combine the classic BM25 retrieval model with state-of-the-art (pairwise) LLM relevance predictions, while optimizing a given ranking metric and efficiency target. Our experimental results show optimized compound retrieval systems provide better trade-offs between effectiveness and efficiency than cascading approaches, even when applied in a self-supervised manner. With the introduction of compound retrieval systems, we hope to inspire the information retrieval field to more out-of-the-box thinking on how prediction models can interact to form rankings.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google