要約
授業観察と専門家のフィードバックを伴うコーチングは、教員養成の基本的な部分として広く普及している。しかし、リソースや専門知識へのアクセスが限られているため、大多数の教師は一貫した質の高いコーチングを受けることができません。私たちは、生成AIが自動化された教師コーチとして機能することで、専門家によるフィードバックを費用対効果的に補完することができるかどうかを検討します。(A)教室観察に基づく成績表の採点、(B)優れた指導法のハイライトと見逃した機会の特定、(C)生徒の推論をより引き出すための実行可能な提案の提供です。私たちは、小学校の算数の授業記録を対象に、専門家である算数教師を募り、これらのタスクのそれぞれについて、ChatGPTのゼロショット性能を評価しました。その結果、ChatGPTは指導の改善に関連する回答を生成しますが、それらは斬新さや洞察力に欠けることが多いことがわかりました。例えば、モデルの提案の82%は、教師がすでにその提案を実行している場所を指しています。私たちの研究は、教師に対して洞察に満ちた斬新で真実味のあるフィードバックを生成するという課題を浮き彫りにすると同時に、これらの障害に対処し、教師を指導するための生成AIの能力を向上させるための将来の研究への道を開くものです。
要約(オリジナル)
Coaching, which involves classroom observation and expert feedback, is a widespread and fundamental part of teacher training. However, the majority of teachers do not have access to consistent, high quality coaching due to limited resources and access to expertise. We explore whether generative AI could become a cost-effective complement to expert feedback by serving as an automated teacher coach. In doing so, we propose three teacher coaching tasks for generative AI: (A) scoring transcript segments based on classroom observation instruments, (B) identifying highlights and missed opportunities for good instructional strategies, and (C) providing actionable suggestions for eliciting more student reasoning. We recruit expert math teachers to evaluate the zero-shot performance of ChatGPT on each of these tasks for elementary math classroom transcripts. Our results reveal that ChatGPT generates responses that are relevant to improving instruction, but they are often not novel or insightful. For example, 82% of the model’s suggestions point to places in the transcript where the teacher is already implementing that suggestion. Our work highlights the challenges of producing insightful, novel and truthful feedback for teachers while paving the way for future research to address these obstacles and improve the capacity of generative AI to coach teachers.
arxiv情報
| 著者 | Rose E. Wang,Dorottya Demszky |
| 発行日 | 2023-06-05 17:59:21+00:00 |
| arxivサイト | arxiv_id(pdf) |