Analysis of the Cambridge Multiple-Choice Questions Reading Dataset with a Focus on Candidate Response Distribution

要約

多肢選択式試験は、さまざまな分野や課題にわたって受験者を評価するために広く使用されています。
問題の質を下げるために、新しく提案された問題は、実際の試験に導入される前に、テスト前の評価段階を通過することがよくあります。
現在、この評価プロセスは手動で集中的に行われているため、質問作成サイクルにタイムラグが生じる可能性があります。
自動化によってこのプロセスを合理化すると、効率が大幅に向上しますが、現在、適切なテスト前分析情報を備えたデータセットが不足しています。
この論文では、ケンブリッジ多肢選択問題読解データセットを分析します。
対応する候補選択分布を含む、さまざまなターゲット レベルの質問の多肢理解データセット。
候補分布マッチングのタスクを紹介し、このタスクのいくつかの評価指標を提案し、RACE++ でトレーニングされた自動システムがタスクのベースラインとして活用できることを示します。
さらに、これらの自動システムが、パフォーマンスの低い注意散漫要素の検出など、実際的なテスト前評価タスクに使用できることを実証します。この場合、当社の検出システムは、少数の受験者が選択する悪い注意散漫要素を自動的に識別できます。

要約(オリジナル)

Multiple choice exams are widely used to assess candidates across a diverse range of domains and tasks. To moderate question quality, newly proposed questions often pass through pre-test evaluation stages before being deployed into real-world exams. Currently, this evaluation process is manually intensive, which can lead to time lags in the question development cycle. Streamlining this process via automation can significantly enhance efficiency, however, there’s a current lack of datasets with adequate pre-test analysis information. In this paper we analyse the Cambridge Multiple-Choice Questions Reading Dataset; a multiple-choice comprehension dataset of questions at different target levels, with corresponding candidate selection distributions. We introduce the task of candidate distribution matching, propose several evaluation metrics for the task, and demonstrate that automatic systems trained on RACE++ can be leveraged as baselines for our task. We further demonstrate that these automatic systems can be used for practical pre-test evaluation tasks such as detecting underperforming distractors, where our detection systems can automatically identify poor distractors that few candidates select.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google