Using language models in the implicit automated assessment of mathematical short answer items

要約

私たちは、数学項目に対する特定の短い構築された応答を評価する新しい方法を提案します。
私たちのアプローチでは、生徒が応答で指定したキーの値を識別するパイプラインを使用します。
これにより、応答の正しさを判断できるだけでなく、誤解を特定することもできます。
価値識別パイプラインからの情報は、教師と生徒にフィードバックを提供するために使用できます。
値識別パイプラインは、2 つの微調整された言語モデルで構成されます。
最初のモデルは、値が生徒の応答に暗黙的に含まれているかどうかを判断します。
2 番目のモデルは、応答内のキー値が指定されている場所を識別します。
任意のプロンプトと値に使用できる汎用モデルと、各プロンプトと値に固有のモデルの両方を考慮します。
価値識別パイプラインは、従来のルーブリックベースのスコアリングよりも、短い構築された応答を評価するためのより正確で有益な方法です。
これを使用すると、より的を絞ったフィードバックを生徒に提供でき、生徒の数学への理解の向上に役立ちます。

要約(オリジナル)

We propose a new way to assess certain short constructed responses to mathematics items. Our approach uses a pipeline that identifies the key values specified by the student in their response. This allows us to determine the correctness of the response, as well as identify any misconceptions. The information from the value identification pipeline can then be used to provide feedback to the teacher and student. The value identification pipeline consists of two fine-tuned language models. The first model determines if a value is implicit in the student response. The second model identifies where in the response the key value is specified. We consider both a generic model that can be used for any prompt and value, as well as models that are specific to each prompt and value. The value identification pipeline is a more accurate and informative way to assess short constructed responses than traditional rubric-based scoring. It can be used to provide more targeted feedback to students, which can help them improve their understanding of mathematics.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google