Explainable Automatic Grading with Neural Additive Models

要約

自動短答採点 (ASAG) モデルの使用は、採点の時間的負担を軽減すると同時に、教育者が自由形式の項目をカリキュラムに頻繁に組み込むことを奨励する可能性があります。
しかし、現在の最先端の ASAG モデルは、「ブラック ボックス」と表現されることが多い大規模なニューラル ネットワーク (NN) であり、生成される出力にとって入力のどの特性が重要であるかについての説明がありません。
この説明のつかない性質は、自動生成された成績を解釈したり、そこから学ぼうとするときに教師や生徒をイライラさせる可能性があります。
強力かつわかりやすい ASAG モデルを作成するために、NN のパフォーマンスと加算モデルの説明可能性を組み合わせたニューラル加算モデルと呼ばれるタイプのモデルを実験します。
私たちは、学習科学の知識統合 (KI) フレームワークを使用して、特徴エンジニアリングをガイドし、生徒の応答に特定のアイデアが含まれているかどうかを反映する入力を作成します。
我々は、KI ルーブリックを使用して人間の採点者を導く可能性があるため、NAM が優れた予測力と解釈可能性を得るには、事前定義されたアイデアを特徴として含める (または除外する) ことを示すだけで十分であると仮説を立てます。
NAM のパフォーマンスを、同じ特徴を使用する別の説明可能なモデルであるロジスティック回帰、および特徴エンジニアリングを必要としない説明不可能なニューラル モデルである DeBERTa と比較します。

要約(オリジナル)

The use of automatic short answer grading (ASAG) models may help alleviate the time burden of grading while encouraging educators to frequently incorporate open-ended items in their curriculum. However, current state-of-the-art ASAG models are large neural networks (NN) often described as ‘black box’, providing no explanation for which characteristics of an input are important for the produced output. This inexplicable nature can be frustrating to teachers and students when trying to interpret, or learn from an automatically-generated grade. To create a powerful yet intelligible ASAG model, we experiment with a type of model called a Neural Additive Model that combines the performance of a NN with the explainability of an additive model. We use a Knowledge Integration (KI) framework from the learning sciences to guide feature engineering to create inputs that reflect whether a student includes certain ideas in their response. We hypothesize that indicating the inclusion (or exclusion) of predefined ideas as features will be sufficient for the NAM to have good predictive power and interpretability, as this may guide a human scorer using a KI rubric. We compare the performance of the NAM with another explainable model, logistic regression, using the same features, and to a non-explainable neural model, DeBERTa, that does not require feature engineering.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google