Drowning in Documents: Consequences of Scaling Reranker Inference

要約

リランカー (通常はクロスエンコーダー) は、安価な初期 IR システムによって取得されたドキュメントを再スコアリングするためによく使用されます。
これは、高価ではあるものの、リランカーの方が効果的であると考えられているためです。
私たちは、最初の段階の取得の再スコアリングだけでなく、完全な取得のリランカーのパフォーマンスを測定することで、この仮定に異議を唱えます。
私たちの実験では、驚くべき傾向が明らかになりました。既存の最良のリランカーは、スコアが徐々に増加するドキュメントに応じて利益が逓減し、実際には一定の制限を超えると品質が低下します。
実際、この設定では、再ランカーは、クエリとの語彙的または意味的な重複がないドキュメントに高いスコアを割り当てることがよくあります。
私たちの調査結果が、再ランキングを改善するための将来の研究に拍車をかけることを願っています。

要約(オリジナル)

Rerankers, typically cross-encoders, are often used to re-score the documents retrieved by cheaper initial IR systems. This is because, though expensive, rerankers are assumed to be more effective. We challenge this assumption by measuring reranker performance for full retrieval, not just re-scoring first-stage retrieval. Our experiments reveal a surprising trend: the best existing rerankers provide diminishing returns when scoring progressively more documents and actually degrade quality beyond a certain limit. In fact, in this setting, rerankers can frequently assign high scores to documents with no lexical or semantic overlap with the query. We hope that our findings will spur future research to improve reranking.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google