ChEDDAR: Student-ChatGPT Dialogue in EFL Writing Education

要約

教育における生成型 AI の統合は拡大していますが、学生と AI システムの間の大規模な現実世界の相互作用に関する実証分析は依然として限られています。
この研究では、外国語としての英語 (EFL) ライティング コースに登録している 212 人の大学生を対象とした 1 学期にわたる長期的な実験から収集された、エッセイの改訂としての ChEDDAR、ChatGPT、および EFL 学習者の対話データセットを紹介します。
学生はChatGPTとの対話を通じてエッセイを修正するよう求められました。
ChEDDAR には、生徒の目的と全体的な経験を文書化するセッションレベルの前後アンケートに加えて、会話ログ、発話レベルのエッセイ編集履歴、自己評価満足度、および生徒の意図が含まれています。
私たちは、学生の意図と満足度に関して、生成 AI に関する学生の使用パターンと認識を分析します。
基礎的なステップとして、教育の文脈におけるタスク指向の対話システムにおける 2 つの重要なタスク (意図の検出と満足度の推定) のベースライン結果を確立します。
最後に、教育現場への生成 AI の統合を洗練するためのさらなる研究を提案し、ChEDDAR を利用する潜在的なシナリオを概説します。
ChEDDAR は https://github.com/zeunie/ChEDDAR で公開されています。

要約(オリジナル)

The integration of generative AI in education is expanding, yet empirical analyses of large-scale, real-world interactions between students and AI systems still remain limited. In this study, we present ChEDDAR, ChatGPT & EFL Learner’s Dialogue Dataset As Revising an essay, which is collected from a semester-long longitudinal experiment involving 212 college students enrolled in English as Foreign Langauge (EFL) writing courses. The students were asked to revise their essays through dialogues with ChatGPT. ChEDDAR includes a conversation log, utterance-level essay edit history, self-rated satisfaction, and students’ intent, in addition to session-level pre-and-post surveys documenting their objectives and overall experiences. We analyze students’ usage patterns and perceptions regarding generative AI with respect to their intent and satisfaction. As a foundational step, we establish baseline results for two pivotal tasks in task-oriented dialogue systems within educational contexts: intent detection and satisfaction estimation. We finally suggest further research to refine the integration of generative AI into education settings, outlining potential scenarios utilizing ChEDDAR. ChEDDAR is publicly available at https://github.com/zeunie/ChEDDAR.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google