Automatic Scoring of Students’ Science Writing Using Hybrid Neural Network

要約

この研究では、分析ルーブリックを使用して科学教育における生徒の反応を採点するための多視点ハイブリッド ニューラル ネットワーク (HNN) の有効性を調査します。
HNN モデルの精度を 4 つの ML アプローチ (BERT、AACR、単純ベイズ、ロジスティック回帰) と比較しました。
その結果、HHN は 5 つのスコアリング側面において、ナイーブ ベイズ、ロジスティック回帰、AACR、BERT よりもそれぞれ 8%、3%、1%、0.12% 高い精度を達成したことが示されました (p<0.001)。 全体的な HNN の知覚精度 (M = 96.23%、SD = 1.45%) は、(トレーニングと推論) 高価な BERT モデルの精度 (M = 96.12%、SD = 1.52%) に匹敵します。 また、HNN は BERT よりもトレーニングと推論の効率が 2 倍高く、軽量ではあるが精度が低い Naive Bayes モデルと同等の効率を持っていることも観察されました。 私たちの研究では、HNN を使用して学生の科学論文を自動的に採点することの精度と効率性が確認されました。

要約(オリジナル)

This study explores the efficacy of a multi-perspective hybrid neural network (HNN) for scoring student responses in science education with an analytic rubric. We compared the accuracy of the HNN model with four ML approaches (BERT, AACR, Naive Bayes, and Logistic Regression). The results have shown that HHN achieved 8%, 3%, 1%, and 0.12% higher accuracy than Naive Bayes, Logistic Regression, AACR, and BERT, respectively, for five scoring aspects (p<0.001). The overall HNN's perceived accuracy (M = 96.23%, SD = 1.45%) is comparable to the (training and inference) expensive BERT model's accuracy (M = 96.12%, SD = 1.52%). We also have observed that HNN is x2 more efficient in training and inferencing than BERT and has comparable efficiency to the lightweight but less accurate Naive Bayes model. Our study confirmed the accuracy and efficiency of using HNN to score students' science writing automatically.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google