Learning to Retrieve Engaging Follow-Up Queries

要約

オープン ドメインの会話型エージェントは、対象を絞った幅広いクエリに答えることができます。
ただし、これらのシステムとの対話のシーケンシャルな性質により、知識の探索は時間のかかる作業になり、よく表現された一連の質問をすることでユーザーに負担がかかります。
この論文では、ユーザーが次に持つ可能性のある質問を予測するための検索ベースのシステムと関連するデータセットを紹介します。
このようなシステムは、より魅力的な対話につながる知識探索においてユーザーを積極的に支援できます。
検索システムは、有効なフォローアップの質問と一連の無効な候補を含む、約 14,000 回の情報探索会話を含むデータセットでトレーニングされます。
無効な候補は、言い換え、部分的なエンティティの一致、無関係なエンティティ、ASR エラーなど、さまざまな構文上および意味上の交絡因子をシミュレートするために生成されます。
交絡因子固有の手法を使用して、OR-QuAC データセットでこれらの否定的な例をシミュレートし、Follow-up Query Bank (FQ-Bank) と呼ばれるデータセットを開発します。
次に、FQ-Bank でランキング モデルをトレーニングし、教師ありと教師なしのアプローチを比較した結果を提示します。
結果は、有効なフォローアップを交絡因子と比較して高い位置にランク付けすることで取得できることを示唆していますが、さらに知識を基にすると、ランキングのパフォーマンスが向上する可能性があります。

要約(オリジナル)

Open domain conversational agents can answer a broad range of targeted queries. However, the sequential nature of interaction with these systems makes knowledge exploration a lengthy task which burdens the user with asking a chain of well phrased questions. In this paper, we present a retrieval based system and associated dataset for predicting the next questions that the user might have. Such a system can proactively assist users in knowledge exploration leading to a more engaging dialog. The retrieval system is trained on a dataset which contains ~14K multi-turn information-seeking conversations with a valid follow-up question and a set of invalid candidates. The invalid candidates are generated to simulate various syntactic and semantic confounders such as paraphrases, partial entity match, irrelevant entity, and ASR errors. We use confounder specific techniques to simulate these negative examples on the OR-QuAC dataset and develop a dataset called the Follow-up Query Bank (FQ-Bank). Then, we train ranking models on FQ-Bank and present results comparing supervised and unsupervised approaches. The results suggest that we can retrieve the valid follow-ups by ranking them in higher positions compared to confounders, but further knowledge grounding can improve ranking performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google