An Empirical Comparison of LM-based Question and Answer Generation Methods

要約

質問と回答の生成 (QAG) は、コンテキスト (段落など) を与えられた一連の質問と回答のペアを生成することで構成されます。
このタスクには、質問応答 (QA) モデルのデータ拡張、情報検索、教育など、さまざまな用途があります。
このペーパーでは、シーケンス間言語モデル (LM) 微調整を活用する 3 つの異なる QAG 方法論を使用してベースラインを確立します。
実験によると、エンドツーエンドの QAG モデルはトレーニング時と推論時の両方で計算量が軽く、一般に堅牢であり、他のより複雑なアプローチよりも優れたパフォーマンスを発揮します。
ただし、基礎となる生成 LM に応じて違いがあります。
最後に、私たちの分析では、生成された質問と回答のペアのみに基づいて微調整された QA モデルは、人間がラベル付けしたデータでトレーニングされた教師あり QA モデルと比較して競争力があることが示されました。

要約(オリジナル)

Question and answer generation (QAG) consists of generating a set of question-answer pairs given a context (e.g. a paragraph). This task has a variety of applications, such as data augmentation for question answering (QA) models, information retrieval and education. In this paper, we establish baselines with three different QAG methodologies that leverage sequence-to-sequence language model (LM) fine-tuning. Experiments show that an end-to-end QAG model, which is computationally light at both training and inference times, is generally robust and outperforms other more convoluted approaches. However, there are differences depending on the underlying generative LM. Finally, our analysis shows that QA models fine-tuned solely on generated question-answer pairs can be competitive when compared to supervised QA models trained on human-labeled data.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google