Generate, Filter, and Fuse: Query Expansion via Multi-Step Keyword Generation for Zero-Shot Neural Rankers

要約

クエリ拡張は、第 1 段階のリトリーバーの再現率と精度を向上させるのに効果的であることが証明されていますが、複雑な最先端のクロスエンコーダー ランカーに対するクエリ拡張の影響はまだ調査されていません。
まず、現在の文献に記載されている拡張技術を最先端のニューラル ランカーに直接適用すると、ゼロショットのパフォーマンスが低下する可能性があることを示します。
この目的を達成するために、nDCG@10 などのゼロショット ランキング メトリクスを改善するために、クエリ拡張をより効果的に生成、フィルター、融合するための大規模な言語モデルとニューラル ランカーを含むパイプラインである GFF を提案します。
具体的には、GFF はまず命令追従言語モデルを呼び出し、推論チェーンを通じてクエリ関連のキーワードを生成します。
GFF は、自己一貫性と相互ランク重み付けを利用して、拡張された各クエリのランキング結果をさらにフィルタリングして動的に結合します。
このパイプラインを利用することで、GFF が BEIR および TREC DL 2019/2020 のゼロショット nDCG@10 を改善できることを示します。
また、GFF パイプラインのさまざまなモデリングの選択肢を分析し、ゼロショット ニューラル ランカーのクエリ拡張における将来の方向性を明らかにします。

要約(オリジナル)

Query expansion has been proved to be effective in improving recall and precision of first-stage retrievers, and yet its influence on a complicated, state-of-the-art cross-encoder ranker remains under-explored. We first show that directly applying the expansion techniques in the current literature to state-of-the-art neural rankers can result in deteriorated zero-shot performance. To this end, we propose GFF, a pipeline that includes a large language model and a neural ranker, to Generate, Filter, and Fuse query expansions more effectively in order to improve the zero-shot ranking metrics such as nDCG@10. Specifically, GFF first calls an instruction-following language model to generate query-related keywords through a reasoning chain. Leveraging self-consistency and reciprocal rank weighting, GFF further filters and combines the ranking results of each expanded query dynamically. By utilizing this pipeline, we show that GFF can improve the zero-shot nDCG@10 on BEIR and TREC DL 2019/2020. We also analyze different modelling choices in the GFF pipeline and shed light on the future directions in query expansion for zero-shot neural rankers.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google