Predicting challenge moments from students’ discourse: A comparison of GPT-4 to two traditional natural language processing approaches

要約

効果的なコラボレーションを行うためには、グループが戦略的に自らを調整し、課題を克服する必要がある。研究により、外部からの支援が有効である可能性のある課題に対するメンバーの認識の違いにより、グループがうまく調整できない場合があることが示されている。本研究では、3つの異なる自然言語処理モデル（専門知識ルールベースモデル、教師あり機械学習（ML）モデル、大規模言語モデル（LLM））を活用することで、学生の談話から課題を検出し、課題の次元（認知的課題、メタ認知的課題、感情的課題、技術的/その他の課題）を特定する可能性について検討した。その結果、教師ありMLとLLMのアプローチは、両タスクにおいて非常に良い結果を示した。本論文では、協調学習活動における生徒のチャレンジ・モーメントの自動検出とサポートに関する3つのアプローチの性能について広範な議論を提供する。LLMは多くの利点を提供するものの、信頼性の欠如、妥当性評価、プライバシー、混同の問題から、社会的に共有された学習規制の検出とフィードバック提供の問題に対する万能薬にはなり得ないと主張する。本稿の最後に、LLMを利用する学生や教育者にとって実現可能で有意義な分析フィードバックを探求するために、モデルの透明性を含む追加的な考慮事項について議論する。

要約(オリジナル)

Effective collaboration requires groups to strategically regulate themselves to overcome challenges. Research has shown that groups may fail to regulate due to differences in members’ perceptions of challenges which may benefit from external support. In this study, we investigated the potential of leveraging three distinct natural language processing models: an expert knowledge rule-based model, a supervised machine learning (ML) model and a Large Language model (LLM), in challenge detection and challenge dimension identification (cognitive, metacognitive, emotional and technical/other challenges) from student discourse, was investigated. The results show that the supervised ML and the LLM approaches performed considerably well in both tasks, in contrast to the rule-based approach, whose efficacy heavily relies on the engineered features by experts. The paper provides an extensive discussion of the three approaches’ performance for automated detection and support of students’ challenge moments in collaborative learning activities. It argues that, although LLMs provide many advantages, they are unlikely to be the panacea to issues of the detection and feedback provision of socially shared regulation of learning due to their lack of reliability, as well as issues of validity evaluation, privacy and confabulation. We conclude the paper with a discussion on additional considerations, including model transparency to explore feasible and meaningful analytical feedback for students and educators using LLMs.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL