World Knowledge in Multiple Choice Reading Comprehension

要約

最近、文脈の文章にアクセスしなくても、多肢選択式読解 (MCRC) システムは平均してランダムよりもはるかに優れた質問に答えることができることが示されました。
これらのシステムは、文章からの情報を使用するのではなく、蓄積された「世界知識」を使用して質問に直接答えます。
この論文では、テスト設計者が特定の質問セットに対して「世界の知識」の使用が許容されるかどうかを確認するためのツールとしてこの観察結果を活用する可能性を検討します。
私たちは、システムによって利用される「世界の知識」のレベルを評価できるようにする、情報理論に基づいた指標を提案します。
2 つの指標について説明します。1 つはパッセージフリー システムが世界の知識を使用して質問の答えを特定できるかどうかを測定する、予想される選択肢の数です。
コンテキスト相互情報量は、特定の質問のコンテキストの重要性を測定します。
私たちは、予想される選択肢の数が少なく、したがってショートカット システムで回答できる質問は、多くの場合、コンテキストなしで人間でも同様に回答できることを示します。
これは、一般知識の「ショートカット」が受験者にも同様に使用できること、そして私たちが提案した指標が将来のテスト設計者が質問の品質を監視するのに役立つ可能性があることを強調しています。

要約(オリジナル)

Recently it has been shown that without any access to the contextual passage, multiple choice reading comprehension (MCRC) systems are able to answer questions significantly better than random on average. These systems use their accumulated ‘world knowledge’ to directly answer questions, rather than using information from the passage. This paper examines the possibility of exploiting this observation as a tool for test designers to ensure that the use of ‘world knowledge’ is acceptable for a particular set of questions. We propose information-theory based metrics that enable the level of ‘world knowledge’ exploited by systems to be assessed. Two metrics are described: the expected number of options, which measures whether a passage-free system can identify the answer a question using world knowledge; and the contextual mutual information, which measures the importance of context for a given question. We demonstrate that questions with low expected number of options, and hence answerable by the shortcut system, are often similarly answerable by humans without context. This highlights that the general knowledge ‘shortcuts’ could be equally used by exam candidates, and that our proposed metrics may be helpful for future test designers to monitor the quality of questions.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google