Towards an optimised evaluation of teachers’ discourse: The case of engaging messages

要約

教師のスキルを評価することは、教育の質と生徒の成果を向上させるために非常に重要です。
教師の会話は生徒の成績に大きな影響を与える重要な要素です。
ただし、この議論をコーディングするのは骨が折れる可能性があります。
この研究では、教師の談話の評価を最適化するための新しい方法論を導入することで、この問題に対処しています。
この研究は 2 つの研究で構成されており、いずれも中等教育の教師が使用する魅力的なメッセージの枠組み内で行われました。
最初の研究では、2 学年にわたって音声録音された授業の実例を基に 2 つの大規模な言語モデルをトレーニングし、授業のトランスクリプトから魅力的なメッセージを特定して分類しました。
この結果、同定および分類における感度はそれぞれ 84.31% および 91.11%、特異度は 97.69% および 86.36% となりました。
2 番目の研究では、これらのモデルを 3 学年度の音声録音された授業の記録に適用し、教育レベルおよび学年度の瞬間ごとのメッセージ タイプの頻度と分布を調べました。
その結果、教師は主に成果の向上につながるエンゲージメントの利点を強調するメッセージを使用している一方、3分の1は不安の増加に関連するエンゲージメント以外のデメリットを強調していることがわかりました。
魅力的なメッセージの使用は、12 年生から学年末にかけて減少しました。
これらの調査結果は、魅力的なメッセージの使用を最適化し、教育の質と生徒の成果を高めるための介入の可能性を示唆しています。

要約(オリジナル)

Evaluating teachers’ skills is crucial for enhancing education quality and student outcomes. Teacher discourse, significantly influencing student performance, is a key component. However, coding this discourse can be laborious. This study addresses this issue by introducing a new methodology for optimising the assessment of teacher discourse. The research consisted of two studies, both within the framework of engaging messages used by secondary education teachers. The first study involved training two large language models on real-world examples from audio-recorded lessons over two academic years to identify and classify the engaging messages from the lessons’ transcripts. This resulted in sensitivities of 84.31% and 91.11%, and specificities of 97.69% and 86.36% in identification and classification, respectively. The second study applied these models to transcripts of audio-recorded lessons from a third academic year to examine the frequency and distribution of message types by educational level and moment of the academic year. Results showed teachers predominantly use messages emphasising engagement benefits, linked to improved outcomes, while one-third highlighted non-engagement disadvantages, associated with increased anxiety. The use of engaging messages declined in Grade 12 and towards the academic year’s end. These findings suggest potential interventions to optimise engaging message use, enhancing teaching quality and student outcomes.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google