Modelling Assessment Rubrics through Bayesian Networks: a Pragmatic Approach

要約

学習者のコンピテンシーを自動的に評価することは、インテリジェント・チュータリング・システムにおける基本的なタスクである。アセスメントルーブリックは、典型的かつ効果的に関連するコンピテンシーとコンピテンシーレベルを記述する。本稿では、能力レベルの（部分的な）順序付けを定義する評価ルーブリックから直接学習者モデルを導出するアプローチを提示する。このモデルはベイジアンネットワークに基づいており、不確実性を持つ論理ゲート（しばしばノイジーゲートと呼ばれる）を利用することで、モデルのパラメータ数を減らし、専門家によるパラメータ取得を簡素化し、インテリジェントチュータリングシステムにおけるリアルタイム推論を可能にする。我々は、このアプローチが、計算機的思考スキルをテストするために開発されたアクティビティの人間による評価を自動化するためにどのように適用できるかを説明する。評価ルーブリックから始まるモデルの簡単な導出により、複数のタスクの評価を迅速に自動化する可能性が開かれ、適応的評価ツールや知的チュータリングシステムの文脈でそれらをより容易に利用できるようになる。

要約(オリジナル)

Automatic assessment of learner competencies is a fundamental task in intelligent tutoring systems. An assessment rubric typically and effectively describes relevant competencies and competence levels. This paper presents an approach to deriving a learner model directly from an assessment rubric defining some (partial) ordering of competence levels. The model is based on Bayesian networks and exploits logical gates with uncertainty (often referred to as noisy gates) to reduce the number of parameters of the model, so to simplify their elicitation by experts and allow real-time inference in intelligent tutoring systems. We illustrate how the approach can be applied to automatize the human assessment of an activity developed for testing computational thinking skills. The simple elicitation of the model starting from the assessment rubric opens up the possibility of quickly automating the assessment of several tasks, making them more easily exploitable in the context of adaptive assessment tools and intelligent tutoring systems.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL