要約
2022 年 11 月の導入以来、ChatGPT は教育に変革的な影響を与えており、生徒は宿題を助けるために ChatGPT を使用し、教師は指導実践に ChatGPT を積極的に採用しています。
これには、教師が生徒の作文を採点し、フィードバックを生成するためのツールとして ChatGPT を使用することが含まれます。
この研究では、英語学習者 (ELL) の学生が書いたエッセイの一貫性と一貫性に関して、ChatGPT によって生成されたフィードバックの質を評価しました。
私たちは 50 の議論に富んだエッセイを選択し、ELLIPSE ルーブリックを使用して一貫性と結束性に関するフィードバックを生成しました。
フィードバックの評価では、2 段階のアプローチを使用しました。まず、フィードバック内の各文がその機能 (ポジティブな強化、問題の記述など) に基づいてサブタイプに分類されました。
次に、これらのタイプに応じて精度と使いやすさを評価しました。
フィードバックの種類の分析と精度と使いやすさの評価の両方から、ほとんどのフィードバック文は非常に抽象的かつ一般的であり、改善のための具体的な提案を提供できないことが明らかになりました。
反復的なアイデアや一貫性のある手段の不正確な使用などの主要な問題を検出する精度は、表面的な言語的特徴に依存しており、多くの場合不正確でした。
結論として、ChatGPT は、フィードバック生成タスクのための特別なトレーニングがなければ、ELL 学生の一貫性と結束力について効果的なフィードバックを提供できません。
要約(オリジナル)
Since its launch in November 2022, ChatGPT has had a transformative effect on education where students are using it to help with homework assignments and teachers are actively employing it in their teaching practices. This includes using ChatGPT as a tool for writing teachers to grade and generate feedback on students’ essays. In this study, we evaluated the quality of the feedback generated by ChatGPT regarding the coherence and cohesion of the essays written by English Language Learners (ELLs) students. We selected 50 argumentative essays and generated feedback on coherence and cohesion using the ELLIPSE rubric. During the feedback evaluation, we used a two-step approach: first, each sentence in the feedback was classified into subtypes based on its function (e.g., positive reinforcement, problem statement). Next, we evaluated its accuracy and usability according to these types. Both the analysis of feedback types and the evaluation of accuracy and usability revealed that most feedback sentences were highly abstract and generic, failing to provide concrete suggestions for improvement. The accuracy in detecting major problems, such as repetitive ideas and the inaccurate use of cohesive devices, depended on superficial linguistic features and was often incorrect. In conclusion, ChatGPT, without specific training for the feedback generation task, does not offer effective feedback on ELL students’ coherence and cohesion.
arxiv情報
| 著者 | Su-Youn Yoon,Eva Miszoglad,Lisa R. Pierce |
| 発行日 | 2023-10-10 10:25:56+00:00 |
| arxivサイト | arxiv_id(pdf) |
提供元, 利用サービス
arxiv.jp, Google