Analyzing Multiple-Choice Reading and Listening Comprehension Tests

要約

多肢選択式の読解力テストと聴解力テストは、言語評価の重要な部分です。
標準教育テストのコンテンツ作成者は、テストを受ける受験者の理解力を評価する問題を慎重に厳選する必要があります。
しかし、最近の研究では、一般的な多肢選択式読解データセットの多くの質問は、代わりに世界の知識を活用することで、理解することなく解答できることが示されています。
この研究では、会話の書き起こしと聴解テストに基づいた多肢選択式の読解で、文脈に沿った文章をどの程度読む必要があるかを調査して、正解を導き出すことができます。
自動読解システムは、文脈の一節に部分的にアクセスするか、まったくアクセスしない場合でも、ランダムに実行するよりも大幅に優れたパフォーマンスを発揮できることがわかりました。
これらの発見は、コンテンツ作成者が提案された質問に必要な理解力と世界知識の間のトレードオフを自動的に把握するためのアプローチを提供します。

要約(オリジナル)

Multiple-choice reading and listening comprehension tests are an important part of language assessment. Content creators for standard educational tests need to carefully curate questions that assess the comprehension abilities of candidates taking the tests. However, recent work has shown that a large number of questions in general multiple-choice reading comprehension datasets can be answered without comprehension, by leveraging world knowledge instead. This work investigates how much of a contextual passage needs to be read in multiple-choice reading based on conversation transcriptions and listening comprehension tests to be able to work out the correct answer. We find that automated reading comprehension systems can perform significantly better than random with partial or even no access to the context passage. These findings offer an approach for content creators to automatically capture the trade-off between comprehension and world knowledge required for their proposed questions.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google