CDGP: Automatic Cloze Distractor Generation based on Pre-trained Language Model

要約

Cloze テストを手動で設計するには、膨大な時間と労力がかかります。
大きな課題は、間違ったオプション (気が散るもの) の選択にあります。
注意をそらすものを慎重に設計すると、学習者の能力評価の有効性が向上します。
その結果、クローゼディストラクタを自動的に生成するというアイデアが動機付けられます。
この論文では、候補ディストラクタ生成の代替手段として事前トレーニング済み言語モデル (PLM) の採用を検討することにより、クローゼディストラクタ生成を調査します。
実験によれば、PLM 強化モデルによりパフォーマンスが大幅に向上します。
当社の最高パフォーマンスのモデルは、最先端の結果を 14.94 から 34.17 (NDCG@10 スコア) に向上させました。
コードとデータセットは https://github.com/AndyChiangSH/CDGP で入手できます。

要約(オリジナル)

Manually designing cloze test consumes enormous time and efforts. The major challenge lies in wrong option (distractor) selection. Having carefully-design distractors improves the effectiveness of learner ability assessment. As a result, the idea of automatically generating cloze distractor is motivated. In this paper, we investigate cloze distractor generation by exploring the employment of pre-trained language models (PLMs) as an alternative for candidate distractor generation. Experiments show that the PLM-enhanced model brings a substantial performance improvement. Our best performing model advances the state-of-the-art result from 14.94 to 34.17 (NDCG@10 score). Our code and dataset is available at https://github.com/AndyChiangSH/CDGP.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google