Towards A Human-in-the-Loop LLM Approach to Collaborative Discourse Analysis

要約

LLMは、人間の入力を使って出力を文脈化することに長けており、さまざまなタスクにおいて、しばしば人間レベルのパフォーマンスと同等か、それを上回ることを実証してきた。しかし、LLMは、生徒の共同談話における相乗学習の特徴付けにはまだ使用されていない。この探索的研究では、GPT-4-Turboを用いたヒューマン・イン・ザ・ループのプロンプトエンジニアリングアプローチを採用し、学生の共同談話中の相乗的学習を要約・分類するための第一歩を踏み出す。我々の予備的な知見は、GPT-4-Turboが人間と同等の方法で学生の相乗的学習を特徴付けることができる可能性を示唆しており、我々のアプローチはさらなる調査が必要であることを示している。

要約(オリジナル)

LLMs have demonstrated proficiency in contextualizing their outputs using human input, often matching or beating human-level performance on a variety of tasks. However, LLMs have not yet been used to characterize synergistic learning in students’ collaborative discourse. In this exploratory work, we take a first step towards adopting a human-in-the-loop prompt engineering approach with GPT-4-Turbo to summarize and categorize students’ synergistic learning during collaborative discourse. Our preliminary findings suggest GPT-4-Turbo may be able to characterize students’ synergistic learning in a manner comparable to humans and that our approach warrants further investigation.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL