Identifiable Cognitive Diagnosis with Encoder-decoder for Modelling Students’ Performance

要約

認知診断は、試験問題の解答得点に基づいて学生の知識習熟度を診断することを目的としており、コンピュータ適応型テストなど多くの領域の基礎となっている。既存の認知診断モデル(CDM)は、習熟度-回答パラダイムに従っており、診断結果を学生の回答の原因である学習可能な埋め込みとみなし、最適化によって診断結果を学習する。しかし、このようなパラダイムでは、診断結果が識別不能になりやすく、説明可能性のオーバーフィッティング問題が生じ、生徒の学習成績の定量化に悪影響を及ぼす。これらの問題に対処するために、我々は新しい識別可能な認知診断フレームワークを提案する。具体的には、まず、回答ログから識別可能で説明可能な受験者の特徴や問題の特徴を直接診断する柔軟な診断モジュールを提案する。次に、診断結果から回答ログを再構成する一般的な予測モジュールを活用し、後者の精度を保証する。さらに、ID-CDMというフレームワークの実装を提案し、前者の利用可能性を実証する。最後に、ID-CDMの診断結果の識別可能性、説明可能性、および正確性を、4つの公開実世界データセットでの実験を通じて実証する。

要約(オリジナル)

Cognitive diagnosis aims to diagnose students’ knowledge proficiencies based on their response scores on exam questions, which is the basis of many domains such as computerized adaptive testing. Existing cognitive diagnosis models (CDMs) follow a proficiency-response paradigm, which views diagnostic results as learnable embeddings that are the cause of students’ responses and learns the diagnostic results through optimization. However, such a paradigm can easily lead to unidentifiable diagnostic results and the explainability overfitting problem, which is harmful to the quantification of students’ learning performance. To address these problems, we propose a novel identifiable cognitive diagnosis framework. Specifically, we first propose a flexible diagnostic module which directly diagnose identifiable and explainable examinee traits and question features from response logs. Next, we leverage a general predictive module to reconstruct response logs from the diagnostic results to ensure the preciseness of the latter. We furthermore propose an implementation of the framework, i.e., ID-CDM, to demonstrate the availability of the former. Finally, we demonstrate the identifiability, explainability and preciseness of diagnostic results of ID-CDM through experiments on four public real-world datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL