VerAs: Verify then Assess STEM Lab Reports

要約

STEM 教育では批判的思考スキルにますます重点が置かれているため、探究スキルを重視するカリキュラムにおいてサイエンス ライティングがますます重要な役割を果たしています。
最近公開された、探究ベースの物理カリキュラムからの大学レベルの実験レポート 2 セットのデータセットは、主題の知識と適切な説明の一般的な構成要素を指定する、複数の次元を利用する分析評価ルーブリックに依存しています。
各分析側面は 6 ポイントのスケールで評価され、科学論文のスキルを向上させるのに役立つ詳細なフィードバックが学生に提供されます。
手動による評価は時間がかかる可能性があり、大規模なクラスの生徒全員の一貫性を調整するのが困難です。
STEM 科目の自由回答形式の質問の自動評価については多くの研究が行われていますが、研究レポートなどの長文に関する研究ははるかに少なくなっています。
Open Domain Question Answering (OpenQA) へのアプローチからインスピレーションを得た、個別の検証モジュールと評価モジュールを備えたエンドツーエンドのニューラル アーキテクチャを紹介します。
VerAs はまず、レポートに特定のルーブリック ディメンションに関連するコンテンツが含まれているかどうかを検証し、含まれている場合は関連する文章を評価します。
ラボのレポートでは、VerAs は OpenQA システムまたは Automated Essay Scoring (AES) に基づく複数のベースラインを上回っています。
VerAs は、中学校の物理の小論文の分析ルーブリックでも優れたパフォーマンスを発揮します。

要約(オリジナル)

With an increasing focus in STEM education on critical thinking skills, science writing plays an ever more important role in curricula that stress inquiry skills. A recently published dataset of two sets of college level lab reports from an inquiry-based physics curriculum relies on analytic assessment rubrics that utilize multiple dimensions, specifying subject matter knowledge and general components of good explanations. Each analytic dimension is assessed on a 6-point scale, to provide detailed feedback to students that can help them improve their science writing skills. Manual assessment can be slow, and difficult to calibrate for consistency across all students in large classes. While much work exists on automated assessment of open-ended questions in STEM subjects, there has been far less work on long-form writing such as lab reports. We present an end-to-end neural architecture that has separate verifier and assessment modules, inspired by approaches to Open Domain Question Answering (OpenQA). VerAs first verifies whether a report contains any content relevant to a given rubric dimension, and if so, assesses the relevant sentences. On the lab reports, VerAs outperforms multiple baselines based on OpenQA systems or Automated Essay Scoring (AES). VerAs also performs well on an analytic rubric for middle school physics essays.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google