G-SciEdBERT: A Contextualized LLM for Science Assessment Tasks in German

要約

自然言語処理の進歩により、ドイツ語などのさまざまな言語での自動採点システムへの道が開かれました (例: ドイツ語 BERT [G-BERT])。
科学の質問に対するドイツ語の筆記回答を自動的に採点することは複雑な作業であり、標準的な G-BERT にとっては困難です。標準的な G-BERT には、科学分野の文脈に関する知識が不足しており、学生の作文スタイルと一致していない可能性があるためです。
この論文は、科学課題に対するドイツ語で書かれた回答を採点するために調整された革新的な大規模言語モデルである、文脈化されたドイツ科学教育 BERT (G-SciEdBERT) を開発しました。
G-BERT を使用して、2015 年の留学生評価プログラム (PISA) に対する 500 万トークンを使用した 50,000 件のドイツ語の筆記科学回答コーパスで G-SciEdBERT を事前トレーニングしました。私たちは 59 の評価項目について G-SciEdBERT を微調整し、
採点の正確さ。
次に、G-BERT とのパフォーマンスを比較しました。
私たちの調査結果では、G-SciEdBERT によるスコアリング精度の大幅な向上が明らかになり、G-BERT と比較して 2 次加重カッパが 10% 増加していることがわかりました (平均精度差 = 0.096、SD = 0.024)。
これらの洞察は、自動採点の精度を高めるためにトレーニングされた G-SciEdBERT のような特殊な言語モデルの重要性を強調し、教育における AI 分野に多大な貢献を提供します。

要約(オリジナル)

The advancement of natural language processing has paved the way for automated scoring systems in various languages, such as German (e.g., German BERT [G-BERT]). Automatically scoring written responses to science questions in German is a complex task and challenging for standard G-BERT as they lack contextual knowledge in the science domain and may be unaligned with student writing styles. This paper developed a contextualized German Science Education BERT (G-SciEdBERT), an innovative large language model tailored for scoring German-written responses to science tasks. Using G-BERT, we pre-trained G-SciEdBERT on a corpus of 50K German written science responses with 5M tokens to the Programme for International Student Assessment (PISA) 2015. We fine-tuned G-SciEdBERT on 59 assessment items and examined the scoring accuracy. We then compared its performance with G-BERT. Our findings reveal a substantial improvement in scoring accuracy with G-SciEdBERT, demonstrating a 10% increase of quadratic weighted kappa compared to G-BERT (mean accuracy difference = 0.096, SD = 0.024). These insights underline the significance of specialized language models like G-SciEdBERT, which is trained to enhance the accuracy of automated scoring, offering a substantial contribution to the field of AI in education.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google