Can We Trust AI-Generated Educational Content? Comparative Analysis of Human and AI-Generated Learning Resources

要約

パーソナライズされた学習体験を提供するオンライン学習プラットフォームへ移行する学生が増加する中、質の高い教育コンテンツの制作が求められている。大規模言語モデル（LLM）は、大規模な学習教材を迅速に作成し、指導者の負担を軽減するための有望なソリューションを提供するように見える。本研究では、LLMによって生成された教材と、学習者ソーシング活動の一環として学生が作成した教材の品質を比較することで、プログラミング入門の文脈におけるLLMによる学習教材作成の可能性を調査した。ブラインド評価を用いて、学生はAIと学習者が作成したリソースの正しさと有用性を評価した。その結果、学生が感じるAIが生成したリソースの品質は、学習者が生成したリソースの品質と同等であることがわかった。このことは、AIが生成したリソースが、特定の文脈において有効な補助教材として機能する可能性を示唆している。LLMによって生成されたリソースは、与えられた模範を忠実に反映する傾向があるのに対し、学生によって生成されたリソースは、内容の長さや使用されている特定の構文の特徴という点で、より多様性を示している。本研究は、様々なタイプの学習リソースやより広範な対象分野を探求し、AIが生成したリソースが学習成果に与える長期的な影響を理解するためのさらなる研究の必要性を強調している。

要約(オリジナル)

As an increasing number of students move to online learning platforms that deliver personalized learning experiences, there is a great need for the production of high-quality educational content. Large language models (LLMs) appear to offer a promising solution to the rapid creation of learning materials at scale, reducing the burden on instructors. In this study, we investigated the potential for LLMs to produce learning resources in an introductory programming context, by comparing the quality of the resources generated by an LLM with those created by students as part of a learnersourcing activity. Using a blind evaluation, students rated the correctness and helpfulness of resources generated by AI and their peers, after both were initially provided with identical exemplars. Our results show that the quality of AI-generated resources, as perceived by students, is equivalent to the quality of resources generated by their peers. This suggests that AI-generated resources may serve as viable supplementary material in certain contexts. Resources generated by LLMs tend to closely mirror the given exemplars, whereas student-generated resources exhibit greater variety in terms of content length and specific syntax features used. The study highlights the need for further research exploring different types of learning resources and a broader range of subject areas, and understanding the long-term impact of AI-generated resources on learning outcomes.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL