CamChoice: A Corpus of Multiple Choice Questions and Candidate Response Distributions

要約

多肢選択式試験は、さまざまな分野や課題にわたる受験者の能力を測定するために使用される、広く普及している評価形式です。
提案された質問の品質を維持することはテスト設計者にとって非常に重要であるため、新しく提案された質問は、実際の試験に導入される前にいくつかのテスト前評価段階を経ます。
このプロセスは現在かなり手動で行われているため、質問作成サイクルにタイムラグが生じる可能性があります。
このプロセスを自動化すると効率が大幅に向上しますが、現在のデータセットには十分なテスト前分析情報が含まれていません。
この文書では、CamChoice を紹介します。
さまざまなターゲット レベルの質問を含む多肢理解データセット。質問には真の候補者が選択した選択肢の分布が含まれます。
候補分布マッチングのタスクを紹介し、このタスクのいくつかの評価指標を提案し、RACE++ でトレーニングされた自動システムがタスクのベースラインとして活用できることを示します。
さらに、これらの自動システムが、パフォーマンスの低い注意散漫要素の検出など、実際的なテスト前評価タスクに使用できることを実証します。この場合、当社の検出システムは、少数の受験者が選択する悪い注意散漫要素を自動的に識別できます。
今後の研究のためにデータを公開します。

要約(オリジナル)

Multiple Choice examinations are a ubiquitous form of assessment that is used to measure the ability of candidates across various domains and tasks. Maintaining the quality of proposed questions is of great importance to test designers, and therefore newly proposed questions go through several pre-test evaluation stages before they can be deployed into real-world exams. This process is currently quite manual, which can lead to time lags in the question development cycle. Automating this process would lead to a large improvement in efficiency, however, current datasets do not contain sufficient pre-test analysis information. In this paper, we introduce CamChoice; a multiple-choice comprehension dataset with questions at different target levels, where questions have the true candidate selected options distributions. We introduce the task of candidate distribution matching, propose several evaluation metrics for the task, and demonstrate that automatic systems trained on RACE++ can be leveraged as baselines for our task. We further demonstrate that these automatic systems can be used for practical pre-test evaluation tasks such as detecting underperforming distractors, where our detection systems can automatically identify poor distractors that few candidates select. We release the data publicly for future research.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google