BERT-Based Approach for Automating Course Articulation Matrix Construction with Explainable AI

要約

コースの成果（CO）とプログラムの成果（PO）/プログラム固有の成果（PSO）の調整は、カリキュラムの一貫性を確保し、教育効果を評価するために重要なタスクです。
CO と PO/PSO の関係を定量化するコースアーティキュレーションマトリックス (CAM) の構築には、通常、整合度を表す数値 (0、1、2、3) の割り当てが含まれます。
この研究では、BERT ファミリーの 4 つのモデル (BERT Base、DistilBERT、ALBERT、および RoBERTa) を実験し、マルチクラス分類を使用して CO と PO/PSO ペア間の整合性を評価します。
まず、デシジョン ツリー、ランダム フォレスト、XGBoost などの従来の機械学習分類器を評価し、次に転移学習を適用して事前トレーニングされた BERT モデルのパフォーマンスを評価します。
モデルの解釈可能性を高めるために、Explainable AI 技術、特に Local Interpretable Model-agnostic Explains (LIME) を適用して、意思決定プロセスに透明性を提供します。
当社のシステムは、精度、適合率、再現率、F1 スコアの値がそれぞれ 98.66%、98.67%、98.66%、98.66% を達成しています。
この研究は、CAM の自動生成に BERT ベースのモデルで転移学習を利用し、教育成果評価において高いパフォーマンスと解釈可能性を提供する可能性を実証しています。

要約(オリジナル)

Course Outcome (CO) and Program Outcome (PO)/Program-Specific Outcome (PSO) alignment is a crucial task for ensuring curriculum coherence and assessing educational effectiveness. The construction of a Course Articulation Matrix (CAM), which quantifies the relationship between COs and POs/PSOs, typically involves assigning numerical values (0, 1, 2, 3) to represent the degree of alignment. In this study, We experiment with four models from the BERT family: BERT Base, DistilBERT, ALBERT, and RoBERTa, and use multiclass classification to assess the alignment between CO and PO/PSO pairs. We first evaluate traditional machine learning classifiers, such as Decision Tree, Random Forest, and XGBoost, and then apply transfer learning to evaluate the performance of the pretrained BERT models. To enhance model interpretability, we apply Explainable AI technique, specifically Local Interpretable Model-agnostic Explanations (LIME), to provide transparency into the decision-making process. Our system achieves accuracy, precision, recall, and F1-score values of 98.66%, 98.67%, 98.66%, and 98.66%, respectively. This work demonstrates the potential of utilizing transfer learning with BERT-based models for the automated generation of CAMs, offering high performance and interpretability in educational outcome assessment.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google