Using Active Learning Methods to Strategically Select Essays for Automated Scoring

要約

タイトル：自動採点のためにアクティブラーニング手法を使用してエッセイを選択する方法

要旨：自動エッセイ採点の研究は、大規模評価の手段として学生の書き込み応答を評価することができるため、ますます重要になっています。スケーラブルな書き込み応答の採点方法が必要です。これは学生がオンライン学習環境に移行するためであり、多数の書き込み応答評価を評価する必要があるためです。本研究の目的は、現代の自動エッセイ採点システムのトレーニングに必要なデータを提供しながら、人間の査定者による評価が必要なエッセイの数を最小化するために使用できる3つのアクティブラーニング手法を説明し評価することです。これら3つのアクティブラーニング手法とは、不確実性に基づく、トポロジに基づく、ハイブリッド手法です。これらの3つの手法は、トランスフォーマー言語モデルからの双方向エンコーダ表現でトレーニングされたスコアリングモデルを使用して分類された自動学生評価賞競技の一部として含まれるエッセイを選択するために使用されました。すべてのアクティブラーニング手法が強力な結果を生み出し、トポロジに基づく手法が最も効率的な分類を生み出しました。成長率の精度も評価されました。アクティブラーニング手法は、さまざまなサンプルサイズ割り当てにおいて異なる効率を生み出しましたが、全体的に、すべての3つの手法は非常に効率的で、似たような分類を生み出しました。

要約(オリジナル)

Research on automated essay scoring has become increasing important because it serves as a method for evaluating students’ written-responses at scale. Scalable methods for scoring written responses are needed as students migrate to online learning environments resulting in the need to evaluate large numbers of written-response assessments. The purpose of this study is to describe and evaluate three active learning methods than can be used to minimize the number of essays that must be scored by human raters while still providing the data needed to train a modern automated essay scoring system. The three active learning methods are the uncertainty-based, the topological-based, and the hybrid method. These three methods were used to select essays included as part of the Automated Student Assessment Prize competition that were then classified using a scoring model that was training with the bidirectional encoder representations from transformer language model. All three active learning methods produced strong results, with the topological-based method producing the most efficient classification. Growth rate accuracy was also evaluated. The active learning methods produced different levels of efficiency under different sample size allocations but, overall, all three methods were highly efficient and produced classifications that were similar to one another.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI