What should I Ask: A Knowledge-driven Approach for Follow-up Questions Generation in Conversational Surveys

要約

フォローアップの質問をその場で生成すると、より動的でパーソナライズされた調査構造が可能になり、会話型調査の品質とユーザー エクスペリエンスが大幅に向上します。
この論文では、会話型調査における知識主導型のフォローアップ質問生成のための新しいタスクを提案しました。
私たちは、会話型調査のコンテキストで、対話履歴とラベル付けされた知識を含む人間が書いたフォローアップの質問からなる、人間による注釈付きの新しいデータセットを構築しました。
データセットとともに、生成されたフォローアップ質問の品質を体系的に評価するために、参照フリーのグリセアンにヒントを得た一連の評価指標を設計および検証しました。
次に、このタスクに対して 2 段階の知識駆動モデルを提案します。このモデルは、知識を使用して生成プロセスを制御することにより、有益で一貫したフォローアップの質問を生成します。
実験は、GPT ベースのベースライン モデルと比較して、2 段階モデル​​がより有益で一貫性のある明確なフォローアップの質問を生成することを示しています。

要約(オリジナル)

Generating follow-up questions on the fly could significantly improve conversational survey quality and user experiences by enabling a more dynamic and personalized survey structure. In this paper, we proposed a novel task for knowledge-driven follow-up question generation in conversational surveys. We constructed a new human-annotated dataset of human-written follow-up questions with dialogue history and labeled knowledge in the context of conversational surveys. Along with the dataset, we designed and validated a set of reference-free Gricean-inspired evaluation metrics to systematically evaluate the quality of generated follow-up questions. We then propose a two-staged knowledge-driven model for the task, which generates informative and coherent follow-up questions by using knowledge to steer the generation process. The experiments demonstrate that compared to GPT-based baseline models, our two-staged model generates more informative, coherent, and clear follow-up questions.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google