Evaluating the capability of large language models to personalize science texts for diverse middle-school-age learners

要約

OpenAI の GPT シリーズを含む大規模言語モデル (LLM) は、近年大幅な進歩を遂げています。
LLM は、多様な主題分野にわたる専門知識とユーザー提供のプロンプトへの迅速な適応性で知られており、パーソナライズされた学習 (PL) ツールとして独自の可能性を秘めています。
この可能性にもかかわらず、K-12 教育におけるその応用はほとんど解明されていないままです。
この論文は、中学生向けの教育科学テキストをパーソナライズする際の GPT-4 の有効性を評価するための最初のランダム化比較試験 (n = 23) の 1 つを紹介します。
この研究では、GPT-4 を使用して、トレーニング セッション中に行われた選択に基づいて生徒の学習の好みをプロファイルしました。
実験グループの場合は、GPT-4 を使用して生徒の予測プロファイルに一致するように科学テキストを書き換えましたが、対照グループの生徒の場合は、学習の好みに反するようにテキストが書き換えられました。
マン・ホイットニーの U テストの結果は、学生が自分のプロフィールに沿った書き換えられたテキストを (0.10 レベルで) 著しく好むことを示しました (p = 0.059)。
これらの発見は、GPT-4 が教育コンテンツを効果的に解釈して学習者の多様な好みに合わせて調整できることを示唆しており、PL テクノロジーの大幅な進歩を示しています。
この研究の限界と、教育における人工知能の使用に関する倫理的考慮事項についても説明します。

要約(オリジナル)

Large language models (LLMs), including OpenAI’s GPT-series, have made significant advancements in recent years. Known for their expertise across diverse subject areas and quick adaptability to user-provided prompts, LLMs hold unique potential as Personalized Learning (PL) tools. Despite this potential, their application in K-12 education remains largely unexplored. This paper presents one of the first randomized controlled trials (n = 23) to evaluate the effectiveness of GPT-4 in personalizing educational science texts for middle school students. In this study, GPT-4 was used to profile student learning preferences based on choices made during a training session. For the experimental group, GPT-4 was used to rewrite science texts to align with the student’s predicted profile while, for students in the control group, texts were rewritten to contradict their learning preferences. The results of a Mann-Whitney U test showed that students significantly preferred (at the .10 level) the rewritten texts when they were aligned with their profile (p = .059). These findings suggest that GPT-4 can effectively interpret and tailor educational content to diverse learner preferences, marking a significant advancement in PL technology. The limitations of this study and ethical considerations for using artificial intelligence in education are also discussed.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google