SSP: Self-Supervised Post-training for Conversational Search

要約

会話型検索は、次世代の検索パラダイムとみなされています。
データ不足の制約を受けて、既存の手法のほとんどは、十分に訓練されたアドホックなリトリーバーを会話型のリトリーバーに抽出します。
ただし、これらの方法は、通常、クエリの再定式化によってパラメータを初期化し、文脈化された依存関係を検出するため、対話構造情報を理解するのに問題があり、文脈上の意味の消失に苦労します。
この論文では、会話型検索モデルを効率的に初期化し、対話構造と文脈上の意味理解を強化するための 3 つの自己教師ありタスクを備えた新しいポストトレーニング パラダイムである \fullmodel (\model) を提案します。
さらに、 \model を既存の会話モデルのほとんどに接続して、パフォーマンスを向上させることができます。
提案した方法の有効性を検証するために、2 つのベンチマーク データセット CAsT-19 と CAsT-20 を使用して、\model によって事後トレーニングされた会話エンコーダーを会話検索タスクに適用します。
私たちの \モデル がいくつかの既存の会話型検索方法のパフォーマンスを向上させることができるという広範な実験。
私たちのソース コードは \url{https://github.com/morecry/SSP} で入手できます。

要約(オリジナル)

Conversational search has been regarded as the next-generation search paradigm. Constrained by data scarcity, most existing methods distill the well-trained ad-hoc retriever to the conversational retriever. However, these methods, which usually initialize parameters by query reformulation to discover contextualized dependency, have trouble in understanding the dialogue structure information and struggle with contextual semantic vanishing. In this paper, we propose \fullmodel (\model) which is a new post-training paradigm with three self-supervised tasks to efficiently initialize the conversational search model to enhance the dialogue structure and contextual semantic understanding. Furthermore, the \model can be plugged into most of the existing conversational models to boost their performance. To verify the effectiveness of our proposed method, we apply the conversational encoder post-trained by \model on the conversational search task using two benchmark datasets: CAsT-19 and CAsT-20. Extensive experiments that our \model can boost the performance of several existing conversational search methods. Our source code is available at \url{https://github.com/morecry/SSP}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google