How Large Language Models Are Changing MOOC Essay Answers: A Comparison of Pre- and Post-LLM Responses

要約

2022年後半にChatGptがリリースされたことで、学術および教育コミュニティにおける活動と懸念が急増しました。
少なくとも大まかな検査に合格する人間のようなテキストを生成するツールの能力は、「頻繁に十分に」情報検索とコンピューター支援学習の黄金時代です。
一方、ある人は、ツールが前例のないレベルの学問的不正と不正行為につながるのではないかと心配しています。
この作業では、AI倫理に関する無料の大学レベルのMOOCからの学生エッセイ応答の複数年のデータセットを分析することにより、オンライン教育に対する大規模な言語モデル（LLM）の出現の効果の一部を定量化します。
データセットには、ChatGPTのリリースの前後に提出されたエッセイが含まれています。
ChatGptの発売は、学生のエッセイの長さとスタイルの両方の大幅な変化と一致し、アカデミック出版などの他のコンテキストでの観察を反映していることがわかりました。
また、関連する公の言説に基づいて予想されるように、AIおよびLLMに関連する重要なコンテンツ語の有病率の変化も観察しますが、必ずしも（動的）トピックモデリングを通じて特定された学生エッセイで議論された一般的なテーマまたはトピックではありません。

要約(オリジナル)

The release of ChatGPT in late 2022 caused a flurry of activity and concern in the academic and educational communities. Some see the tool’s ability to generate human-like text that passes at least cursory inspections for factual accuracy “often enough” a golden age of information retrieval and computer-assisted learning. Some, on the other hand, worry the tool may lead to unprecedented levels of academic dishonesty and cheating. In this work, we quantify some of the effects of the emergence of Large Language Models (LLMs) on online education by analyzing a multi-year dataset of student essay responses from a free university-level MOOC on AI ethics. Our dataset includes essays submitted both before and after ChatGPT’s release. We find that the launch of ChatGPT coincided with significant changes in both the length and style of student essays, mirroring observations in other contexts such as academic publishing. We also observe — as expected based on related public discourse — changes in prevalence of key content words related to AI and LLMs, but not necessarily the general themes or topics discussed in the student essays as identified through (dynamic) topic modeling.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google