Query Performance Prediction: From Ad-hoc to Conversational Search

要約

クエリ パフォーマンス予測 (QPP) は、情報検索における中心的なタスクです。
QPP タスクは、関連性の判断を行わずに、クエリに対する検索システムの検索品質を予測することです。
研究により、アドホック検索における QPP の有効性と有用性が示されています。
近年、会話型検索 (CS) が大幅に進歩しました。
効果的な QPP は、CS システムが次のターンに実行する適切なアクションを決定するのに役立ちます。
CS 向け QPP は、その可能性にもかかわらず、ほとんど研究されていません。
私たちは、CS の文脈で既存の QPP 手法の有効性を再現して研究することで、この研究ギャップに対処します。
パッセージ検索のタスクは 2 つの設定で同じままですが、CS でのユーザー クエリは会話履歴に依存するため、QPP に新たな課題が生じます。
特に、アドホック検索の QPP 手法から得られた結果が、次の 3 つの CS 設定にどの程度一般化するかを調査しようとしています: (i) さまざまなクエリ書き換えベースの検索手法の検索品質の推定、(ii) クエリ書き換えベースの検索手法の検索品質の推定
会話型の高密度検索手法、および (iii) 上位ランクとそれより深いランクのリストに対する検索品質の推定。
私たちの発見は次のように要約できます。(i) 教師あり QPP 手法は、大規模なトレーニング セットが利用可能な場合にのみ、教師なしの QPP 手法よりも明らかに優れています。
(ii) ほとんどの場合、点単位の教師付き QPP メソッドは、リスト単位の対応する QPP メソッドよりも優れたパフォーマンスを発揮します。
(iii) 検索スコアに基づく教師なし QPP 手法は、会話型高密度検索手法である ConvDR の評価に高い有効性を示します。

要約(オリジナル)

Query performance prediction (QPP) is a core task in information retrieval. The QPP task is to predict the retrieval quality of a search system for a query without relevance judgments. Research has shown the effectiveness and usefulness of QPP for ad-hoc search. Recent years have witnessed considerable progress in conversational search (CS). Effective QPP could help a CS system to decide an appropriate action to be taken at the next turn. Despite its potential, QPP for CS has been little studied. We address this research gap by reproducing and studying the effectiveness of existing QPP methods in the context of CS. While the task of passage retrieval remains the same in the two settings, a user query in CS depends on the conversational history, introducing novel QPP challenges. In particular, we seek to explore to what extent findings from QPP methods for ad-hoc search generalize to three CS settings: (i) estimating the retrieval quality of different query rewriting-based retrieval methods, (ii) estimating the retrieval quality of a conversational dense retrieval method, and (iii) estimating the retrieval quality for top ranks vs. deeper-ranked lists. Our findings can be summarized as follows: (i) supervised QPP methods distinctly outperform unsupervised counterparts only when a large-scale training set is available; (ii) point-wise supervised QPP methods outperform their list-wise counterparts in most cases; and (iii) retrieval score-based unsupervised QPP methods show high effectiveness in assessing the conversational dense retrieval method, ConvDR.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google