ProCoT: Stimulating Critical Thinking and Writing of Students through Engagement with Large Language Models (LLMs)

要約

私たちは、Probing Chain-of-Thought (ProCoT) と呼ばれる新しい記述方法を導入します。これにより、学生のアクティブ ラーニングを強化しながら、ChatGPT などの大規模言語モデル (LLM) を使用した不正行為を潜在的に防止できます。
LLM は教育や他の多くの分野に混乱をもたらしました。
学生の不正行為を恐れて、多くの人がその使用を禁止した。
これらの LLM は幻覚を引き起こすことでも知られています。
私たちは、65 人の学生が参加する 2 つの異なるコースで ProCoT を使用した学習を実施します。
各コースの学生は、4 つの質問セットから 1 つの質問で自分の選択した LLM を提示するよう求められ、査読済みの参考資料を使用して LLM 出力内のステートメントを肯定または反論することが求められました。
結果は 2 つのことを示しています: (1) LLM のみの出力と ProCoT の出力を比較すると、ProCoT は LLM との関わりを通じて生徒の創造的/批判的思考と作文を刺激します、(2) ProCoT は既存の LLM の明確な制限により不正行為を防止できます。
特に ChatGPT では、学生の ProCoT 出力と LLM ProCoT 出力を比較します。
また、ほとんどの学生は、一般的に冗長な LLM よりも少ない単語で回答することを好むこともわかりました。
最初のコース、ChatGPT (v3.5)、および Phind (v8) の生徒の平均単語数は、それぞれ 208、391、および 383 です。

要約(オリジナル)

We introduce a novel writing method called Probing Chain-of-Thought (ProCoT), which potentially prevents students from cheating using a Large Language Model (LLM), such as ChatGPT, while enhancing their active learning. LLMs have disrupted education and many other fields. For fear of students cheating, many have resorted to banning their use. These LLMs are also known for hallucinations. We conduct studies with ProCoT in two different courses with 65 students. The students in each course were asked to prompt an LLM of their choice with one question from a set of four and required to affirm or refute statements in the LLM output by using peer-reviewed references. The results show two things: (1) ProCoT stimulates creative/critical thinking and writing of students through engagement with LLMs when we compare the LLM-only output to ProCoT output and (2) ProCoT can prevent cheating because of clear limitations in existing LLMs, particularly ChatGPT, when we compare students’ ProCoT output to LLM ProCoT output. We also discover that most students prefer to give answers in fewer words than LLMs, which are typically verbose. The average word counts for students in the first course, ChatGPT (v3.5), and Phind (v8) are 208, 391 and 383, respectively.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google