Rubric-based Learner Modelling via Noisy Gates Bayesian Networks for Computational Thinking Skills Assessment

要約

現代の個別化教育では、学習者の能力を開発し、それを正確に評価することへの関心が高まっている。以前の研究では、タスク固有の能力ルーブリックから自動スキル評価のための学習者モデルを導出する手順を提案し、自動評価ツールの実装を簡素化した。(i)評価ルーブリックで定義された能力間の順序付けは間接的にしかモデル化されていない。(ii)評価対象ではないがタスク達成に必要な補助的スキルはモデルに含まれていない。本研究では、ダミーの観測ノードを導入することで、ネットワークの構造を変えることなく、スキルの順序付けを厳密に行うことで、(i)の問題に対処する。一方、(ii)については、2層のゲートを持つネットワークを設計し、一方はノイズORゲートによる分離演算を行い、もう一方は論理ANDによる接続演算を行う。このような変更により、モデルのコンパクトなパラメター化、解釈可能性、および簡単な専門家のエリシテーションを損なうことなく、モデル結果の一貫性とモデリングツールの柔軟性が向上する。我々はこのアプローチを使って、計算思考（CT）スキル評価のための学習者モデルを開発した。CT-cubeスキルアセスメントフレームワークとCross Array Task (CAT)を例証し、その実現可能性を実証する。

要約(オリジナル)

In modern and personalised education, there is a growing interest in developing learners’ competencies and accurately assessing them. In a previous work, we proposed a procedure for deriving a learner model for automatic skill assessment from a task-specific competence rubric, thus simplifying the implementation of automated assessment tools. The previous approach, however, suffered two main limitations: (i) the ordering between competencies defined by the assessment rubric was only indirectly modelled; (ii) supplementary skills, not under assessment but necessary for accomplishing the task, were not included in the model. In this work, we address issue (i) by introducing dummy observed nodes, strictly enforcing the skills ordering without changing the network’s structure. In contrast, for point (ii), we design a network with two layers of gates, one performing disjunctive operations by noisy-OR gates and the other conjunctive operations through logical ANDs. Such changes improve the model outcomes’ coherence and the modelling tool’s flexibility without compromising the model’s compact parametrisation, interpretability and simple experts’ elicitation. We used this approach to develop a learner model for Computational Thinking (CT) skills assessment. The CT-cube skills assessment framework and the Cross Array Task (CAT) are used to exemplify it and demonstrate its feasibility.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL