History-Aware Conversational Dense Retrieval

要約

会話型検索は、ユーザーとシステム間の複数回にわたる対話を可能にすることで、複雑な情報の検索を容易にします。
このような対話をサポートするには、履歴情報に基づいて適切な検索クエリを作成するために、会話の入力を包括的に理解する必要があります。
特に、検索クエリには、以前の会話ターンからの関連情報が含まれている必要があります。
ただし、会話型の高密度検索に対する現在のアプローチは、主に、長くてノイズが多い会話型検索セッション全体を使用して、事前にトレーニングされたアドホック リトリーバーを微調整することに依存しています。
さらに、既存のアプローチは、既存のデータセット内の手動監視信号の量によって制限されます。
前述の問題に対処するために、我々は、コンテキストノイズを除去したクエリの再定式化と、歴史的ターンの実際の影響に基づく監視信号の自動マイニングという 2 つのアイデアを組み込んだ History-Aware Conversational Dense Retrieval (HAConvDR) システムを提案します。
2 つの公開会話検索データセットでの実験では、特に話題が移り変わる長時間の会話において、HAConvDR の履歴モデリング機能が向上していることが実証されました。

要約(オリジナル)

Conversational search facilitates complex information retrieval by enabling multi-turn interactions between users and the system. Supporting such interactions requires a comprehensive understanding of the conversational inputs to formulate a good search query based on historical information. In particular, the search query should include the relevant information from the previous conversation turns. However, current approaches for conversational dense retrieval primarily rely on fine-tuning a pre-trained ad-hoc retriever using the whole conversational search session, which can be lengthy and noisy. Moreover, existing approaches are limited by the amount of manual supervision signals in the existing datasets. To address the aforementioned issues, we propose a History-Aware Conversational Dense Retrieval (HAConvDR) system, which incorporates two ideas: context-denoised query reformulation and automatic mining of supervision signals based on the actual impact of historical turns. Experiments on two public conversational search datasets demonstrate the improved history modeling capability of HAConvDR, in particular for long conversations with topic shifts.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google