FOLLOWUPQG: Towards Information-Seeking Follow-up Question Generation

要約

人間は好奇心に駆られてフォローアップの質問をしますが、これは人間の創造的な認知プロセスを反映しています。
最初の質問と回答のより深い理解を求めるフォローアップの質問を生成することを目的とした、現実世界の情報を求めるフォローアップ質問生成 (FQG) のタスクを紹介します。
私たちは、Reddit フォーラムから収集された 3,000 を超える現実世界 (最初の質問、回答、フォローアップの質問) タプルのデータセットである FOLLOWUPQG を構築し、自由回答形式の質問に対する素人向けの説明を提供します。
既存のデータセットとは対照的に、FOLLOWUPQG の質問は、より多様な実際的な戦略を使用して情報を探索し、高次の認知スキル (適用や関連付けなど) も示します。
現在の質問生成モデルをフォローアップの質問を生成する有効性について評価し、段階的なデモンストレーションに基づいて特定のタイプのフォローアップの質問を生成する方法を検討します。
私たちの結果は、モデルが生成した質問は適切ですが、有益性と複雑さの点で人間が作成した質問とは程遠いため、FOLLOWUPQG が挑戦的なベンチマークであることを検証します。

要約(オリジナル)

Humans ask follow-up questions driven by curiosity, which reflects a creative human cognitive process. We introduce the task of real-world information-seeking follow-up question generation (FQG), which aims to generate follow-up questions seeking a more in-depth understanding of an initial question and answer. We construct FOLLOWUPQG, a dataset of over 3K real-world (initial question, answer, follow-up question) tuples collected from a Reddit forum providing layman-friendly explanations for open-ended questions. In contrast to existing datasets, questions in FOLLOWUPQG use more diverse pragmatic strategies to seek information, and they also show higher-order cognitive skills (such as applying and relating). We evaluate current question generation models on their efficacy for generating follow-up questions, exploring how to generate specific types of follow-up questions based on step-by-step demonstrations. Our results validate FOLLOWUPQG as a challenging benchmark, as model-generated questions are adequate but far from human-raised questions in terms of informativeness and complexity.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google