Can Query Expansion Improve Generalization of Strong Cross-Encoder Rankers?

要約

クエリ拡張は、第 1 段階のリトリーバーの検索結果を改善するために広く使用されていますが、第 2 段階のクロスエンコーダー ランカーへの影響はまだ調査されていません。
Weller らの最近の研究。
[44] は、現在の拡張技術が DPR や BM25 などの弱いモデルには利益をもたらすものの、MonoT5 などのより強力なランカーには害を及ぼすことを示しています。
このペーパーでは、この結論を再検討し、次の質問を提起します: クエリ拡張は強力なクロスエンコーダ ランカーの一般化を改善できるでしょうか?
この質問に答えるために、まず一般的なクエリ拡張手法を最先端のクロスエンコーダ ランカーに適用し、ゼロショット パフォーマンスの低下を検証します。
この実験では、高品質のキーワード生成と最小限の中断でクエリを変更するという、クロスエンコーダーにとって重要な 2 つのステップを特定しました。
融合を介して拡張された各クエリのランキング結果を迅速にエンジニアリングおよび集約することにより、強力なニューラル ランカーの一般化を向上させることが可能であることを示します。
具体的には、まず命令に従う言語モデルを呼び出し、推論チェーンを通じてキーワードを生成します。
自己一貫性と相互ランク重み付けを利用して、拡張された各クエリのランキング結果をさらに動的に結合します。
BEIR および TREC Deep Learning 2019/2020 の実験では、これらの手順に従って MonoT5 と RankT5 の両方の nDCG@10 スコアが向上することが示されており、これは強力なクロスエンコーダー ランカーにクエリ拡張を適用する方向性を示しています。

要約(オリジナル)

Query expansion has been widely used to improve the search results of first-stage retrievers, yet its influence on second-stage, cross-encoder rankers remains under-explored. A recent work of Weller et al. [44] shows that current expansion techniques benefit weaker models such as DPR and BM25 but harm stronger rankers such as MonoT5. In this paper, we re-examine this conclusion and raise the following question: Can query expansion improve generalization of strong cross-encoder rankers? To answer this question, we first apply popular query expansion methods to state-of-the-art cross-encoder rankers and verify the deteriorated zero-shot performance. We identify two vital steps for cross-encoders in the experiment: high-quality keyword generation and minimal-disruptive query modification. We show that it is possible to improve the generalization of a strong neural ranker, by prompt engineering and aggregating the ranking results of each expanded query via fusion. Specifically, we first call an instruction-following language model to generate keywords through a reasoning chain. Leveraging self-consistency and reciprocal rank weighting, we further combine the ranking results of each expanded query dynamically. Experiments on BEIR and TREC Deep Learning 2019/2020 show that the nDCG@10 scores of both MonoT5 and RankT5 following these steps are improved, which points out a direction for applying query expansion to strong cross-encoder rankers.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google