Distractor Generation for Multiple-Choice Questions: A Survey of Methods, Datasets, and Evaluation

要約

学習評価においてディストラクターは重要である。本稿では、テキストとマルチモーダル文脈の英語多肢選択問題データセットを用いて、ディストラクタ生成タスクを調査する。特に、本論文では、ディストラクタ生成タスクに関する最近の研究の徹底的な文献レビューを行い、多肢選択問題の構成要素とその特徴について議論し、関連するデータセットを分析し、ディストラクタ生成の評価指標を要約する。我々の調査により、データセットの半数以上が、科学や英語などの特定のドメインの教育ソースから人間が生成したものであり、それらは主にテキストベースであり、オープンドメインやマルチモーダルデータセットが不足していることが明らかになった。

要約(オリジナル)

Distractors are important in learning evaluation. This paper surveys distractor generation tasks using English multiple-choice question datasets for textual and multimodal contexts. In particular, this paper presents a thorough literature review of the recent studies on distractor generation tasks, discusses multiple choice components and their characteristics, analyzes the related datasets, and summarizes the evaluation metrics of distractor generation. Our investigation reveals that more than half of datasets are human-generated from educational sources in specific domains such as Science and English, which are largely text-based, with a lack of open domain and multimodal datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL