Towards the Identifiability and Explainability for Personalized Learner Modeling: An Inductive Paradigm

要約

行動データから学習者の特徴を診断し、学習者の認知状態をモデル化することを目的とした認知診断（CD）を用いたパーソナライズされた学習者モデリングは、多くのWeb学習サービスにおいて基本的かつ重要なタスクである。既存の認知診断モデル(CDM)は、学習者の特性や質問パラメータを学習可能なエンベッディングとして捉え、学習者のパフォーマンス予測を通して学習する習熟度-応答パラダイムに従っている。しかしながら、このパラダイムは、学習者の認知状態の定量化やウェブ学習サービスの品質にとって有害である、非同定性と説明可能性のオーバーフィッティング問題を不可避的に引き起こすことに我々は気づく。これらの問題に対処するために、我々はエンコーダ-デコーダモデルに着想を得た新しい応答-熟達-応答パラダイムに基づく識別可能な認知診断フレームワーク（ID-CDF）を提案する。具体的には、まずID-CDFの診断モジュールを考案する。このモジュールは、最適化におけるランダム性を排除するために帰納的学習を活用して識別可能性を保証し、説明可能性のオーバーフィッティングを防ぐために全体的な応答データ分布と認知状態の間の単調性を捉える。次に、診断の正確さを保証するために、ID-CDFの柔軟な予測モジュールを提案する。さらに、ID-CDFの実装、すなわちID-CDMを提示し、その有用性を説明する。異なる特徴を持つ4つの実世界データセットを用いた広範な実験により、ID-CDFが診断の正確さを損なうことなく効果的に問題に対処できることを実証する。

要約(オリジナル)

Personalized learner modeling using cognitive diagnosis (CD), which aims to model learners’ cognitive states by diagnosing learner traits from behavioral data, is a fundamental yet significant task in many web learning services. Existing cognitive diagnosis models (CDMs) follow the proficiency-response paradigm that views learner traits and question parameters as trainable embeddings and learns them through learner performance prediction. However, we notice that this paradigm leads to the inevitable non-identifiability and explainability overfitting problem, which is harmful to the quantification of learners’ cognitive states and the quality of web learning services. To address these problems, we propose an identifiable cognitive diagnosis framework (ID-CDF) based on a novel response-proficiency-response paradigm inspired by encoder-decoder models. Specifically, we first devise the diagnostic module of ID-CDF, which leverages inductive learning to eliminate randomness in optimization to guarantee identifiability and captures the monotonicity between overall response data distribution and cognitive states to prevent explainability overfitting. Next, we propose a flexible predictive module for ID-CDF to ensure diagnosis preciseness. We further present an implementation of ID-CDF, i.e., ID-CDM, to illustrate its usability. Extensive experiments on four real-world datasets with different characteristics demonstrate that ID-CDF can effectively address the problems without loss of diagnosis preciseness.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL