On Few-Shot Prompting for Controllable Question-Answer Generation in Narrative Comprehension

要約

質問生成は、文脈として提供された与えられた入力に基づいて質問を自動的に生成することを目的としています。制御可能な質問生成スキームは、特定の属性を持つ質問を生成することに焦点を当て、より良い制御を可能にする。本研究では、子供の物語テキストから質問と答えのペアの生成を制御するための数発プロンプト戦略を提案する。我々は2つの属性、すなわち、質問の明確さとその根底にある物語要素を制御することを目的とする。実証的な評価により、参照モデルと並行して数発プロンプトを用いることで、生成プロセスを制御することの有効性を示す。我々の実験では、特に意味的な近さの評価や、質問と答えのペアの多様性と一貫性のようなシナリオにおいて、数発プロンプトが参照モデルを凌駕する事例を強調している。しかし、これらの改善は必ずしも統計的に有意ではない。コードはgithub.com/bernardoleite/few-shot-prompting-qg-controlで公開されている。

要約(オリジナル)

Question Generation aims to automatically generate questions based on a given input provided as context. A controllable question generation scheme focuses on generating questions with specific attributes, allowing better control. In this study, we propose a few-shot prompting strategy for controlling the generation of question-answer pairs from children’s narrative texts. We aim to control two attributes: the question’s explicitness and underlying narrative elements. With empirical evaluation, we show the effectiveness of controlling the generation process by employing few-shot prompting side by side with a reference model. Our experiments highlight instances where the few-shot strategy surpasses the reference model, particularly in scenarios such as semantic closeness evaluation and the diversity and coherency of question-answer pairs. However, these improvements are not always statistically significant. The code is publicly available at github.com/bernardoleite/few-shot-prompting-qg-control.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL