Towards the Identifiability and Explainability for Personalized Learner Modeling: An Inductive Paradigm

要約

認知診断 (CD) を使用したパーソナライズされた学習者モデリングは、行動データから学習者の特性を診断することで学習者の認知状態をモデル化することを目的としており、多くの Web 学習サービスにおいて基本的かつ重要なタスクです。
既存の認知診断モデル (CDM) は、学習者の特性と質問パラメーターをトレーニング可能な埋め込みとみなし、学習者のパフォーマンス予測を通じて学習する習熟度応答パラダイムに従っています。
しかし、このパラダイムは、学習者の認知状態の定量化と Web 学習サービスの品質に有害な、不可避の非識別可能性と説明可能性の過剰適合問題を引き起こすことに気づきました。
これらの問題に対処するために、エンコーダ – デコーダ モデルに触発された新しい応答 – 熟練 – 応答パラダイムに基づく識別可能な認知診断フレームワーク (ID-CDF) を提案します。
具体的には、まず ID-CDF の診断モジュールを考案します。これは、帰納学習を利用して最適化のランダム性を排除して識別可能性を保証し、全体的な応答データ分布と認知状態の間の単調性を捉えて説明可能性の過学習を防ぎます。
次に、診断の正確性を確保するための ID-CDF の柔軟な予測モジュールを提案します。
さらに、ID-CDF、つまり ID-CDM の実装を示し、その使いやすさを説明します。
異なる特性を持つ 4 つの現実世界のデータセットに対する広範な実験により、ID-CDF が診断の精度を損なうことなく問題に効果的に対処できることが実証されました。

要約(オリジナル)

Personalized learner modeling using cognitive diagnosis (CD), which aims to model learners’ cognitive states by diagnosing learner traits from behavioral data, is a fundamental yet significant task in many web learning services. Existing cognitive diagnosis models (CDMs) follow the proficiency-response paradigm that views learner traits and question parameters as trainable embeddings and learns them through learner performance prediction. However, we notice that this paradigm leads to the inevitable non-identifiability and explainability overfitting problem, which is harmful to the quantification of learners’ cognitive states and the quality of web learning services. To address these problems, we propose an identifiable cognitive diagnosis framework (ID-CDF) based on a novel response-proficiency-response paradigm inspired by encoder-decoder models. Specifically, we first devise the diagnostic module of ID-CDF, which leverages inductive learning to eliminate randomness in optimization to guarantee identifiability and captures the monotonicity between overall response data distribution and cognitive states to prevent explainability overfitting. Next, we propose a flexible predictive module for ID-CDF to ensure diagnosis preciseness. We further present an implementation of ID-CDF, i.e., ID-CDM, to illustrate its usability. Extensive experiments on four real-world datasets with different characteristics demonstrate that ID-CDF can effectively address the problems without loss of diagnosis preciseness.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google