Learning to Generate Questions by Enhancing Text Generation with Sentence Selection

要約

答えを意識した質問生成問題に対するアプローチを紹介します。
強力な事前トレーニング済み言語モデルの機能のみに依存するのではなく、回答と質問の情報が文脈内のいくつかの関連する文の中に見つかることがわかります。
これに基づいて、セレクターとジェネレーターの 2 つのモジュールを含むモデルを設計します。
セレクターは、暗黙的なローカル情報を提供するために、モデルに回答に関する関連文にさらに焦点を当てるように強制します。
ジェネレーターは、セレクターからのローカル情報と、エンコーダーによってエンコードされたコンテキスト全体からのグローバル情報を暗黙的に組み合わせることによって質問を生成します。
モデルは、2 つのモジュール間の潜在的な相互作用を利用するために共同でトレーニングされます。
2 つのベンチマーク データセットでの実験結果は、質問生成タスクに関しては、私たちのモデルが強力な事前トレーニングされたモデルよりも優れていることを示しています。
コードも利用可能です。

要約(オリジナル)

We introduce an approach for the answer-aware question generation problem. Instead of only relying on the capability of strong pre-trained language models, we observe that the information of answers and questions can be found in some relevant sentences in the context. Based on that, we design a model which includes two modules: a selector and a generator. The selector forces the model to more focus on relevant sentences regarding an answer to provide implicit local information. The generator generates questions by implicitly combining local information from the selector and global information from the whole context encoded by the encoder. The model is trained jointly to take advantage of latent interactions between the two modules. Experimental results on two benchmark datasets show that our model is better than strong pre-trained models for the question generation task. The code is also available.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google