Enhancing Multi-Domain Automatic Short Answer Grading through an Explainable Neuro-Symbolic Pipeline

要約

採点決定の背後にある解釈可能な推論を使用して、短答問題を自動的に採点することは、変流器アプローチにとって困難な目標です。
論理的推論と組み合わせた正当化キューの検出は、ASAG の神経記号アーキテクチャの有望な方向性を示しています。
しかし、主な課題の 1 つは、学生の回答に注釈付きの正当化キューが必要であることです。これは、少数の ASAG データセットにのみ存在します。
この課題を克服するために、我々は、(1) ASAG データセット内の正当化キューに対する弱教師アノテーション手順、および (2) 正当化キューに基づく説明可能な ASAG の神経記号モデルに貢献します。
私たちのアプローチは、バイリンガル、マルチドメイン、およびマルチ質問のトレーニング設定における短答フィードバック データセットの最先端のものと比較して、RMSE を 0.24 ～ 0.3 改善します。
この結果は、私たちのアプローチが、ASAG および教育 NLP における将来の研究に高品質の成績と付随する説明を生成するための有望な方向性を提供することを示しています。

要約(オリジナル)

Grading short answer questions automatically with interpretable reasoning behind the grading decision is a challenging goal for current transformer approaches. Justification cue detection, in combination with logical reasoners, has shown a promising direction for neuro-symbolic architectures in ASAG. But, one of the main challenges is the requirement of annotated justification cues in the students’ responses, which only exist for a few ASAG datasets. To overcome this challenge, we contribute (1) a weakly supervised annotation procedure for justification cues in ASAG datasets, and (2) a neuro-symbolic model for explainable ASAG based on justification cues. Our approach improves upon the RMSE by 0.24 to 0.3 compared to the state-of-the-art on the Short Answer Feedback dataset in a bilingual, multi-domain, and multi-question training setup. This result shows that our approach provides a promising direction for generating high-quality grades and accompanying explanations for future research in ASAG and educational NLP.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google