Modelling Assessment Rubrics through Bayesian Networks: a Pragmatic Approach

要約

学習者の能力の自動評価は、インテリジェントな個別指導システムの基本的なタスクです。
評価ルーブリックは通常、関連する能力と能力レベルを効果的に説明します。
この論文では、能力レベルのいくつかの (部分的) 順序を定義する評価ルーブリックから直接学習者モデルを導出するアプローチを紹介します。
このモデルはベイジアン ネットワークに基づいており、不確実性のある論理ゲート (ノイズ ゲートと呼ばれることが多い) を利用してモデルのパラメーターの数を減らし、専門家によるパラメーターの導出を簡素化し、インテリジェントな個別指導システムでのリアルタイム推論を可能にします。
このアプローチを適用して、計算的思考スキルをテストするために開発されたアクティビティの人による評価を自動化する方法を説明します。
評価ルーブリックから始まるモデルの単純な導出により、いくつかのタスクの評価を迅速に自動化できる可能性が開かれ、適応型評価ツールやインテリジェントな個別指導システムのコンテキストでタスクをより簡単に活用できるようになります。

要約(オリジナル)

Automatic assessment of learner competencies is a fundamental task in intelligent tutoring systems. An assessment rubric typically and effectively describes relevant competencies and competence levels. This paper presents an approach to deriving a learner model directly from an assessment rubric defining some (partial) ordering of competence levels. The model is based on Bayesian networks and exploits logical gates with uncertainty (often referred to as noisy gates) to reduce the number of parameters of the model, so to simplify their elicitation by experts and allow real-time inference in intelligent tutoring systems. We illustrate how the approach can be applied to automatize the human assessment of an activity developed for testing computational thinking skills. The simple elicitation of the model starting from the assessment rubric opens up the possibility of quickly automating the assessment of several tasks, making them more easily exploitable in the context of adaptive assessment tools and intelligent tutoring systems.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google