要約
協調的問題解決 (CPS) は、21 世紀の重要なスキルとして広く認識されています。
通信データを効率的にコーディングすることは、CPS を評価する研究を拡大する上での大きな課題です。
このペーパーでは、複数のデータセットとコーディング フレームワークにわたるパフォーマンスのベンチマークを行うことにより、ChatGPT を使用して CPS チャット データを直接コーディングすることについての調査結果を報告します。
ChatGPT ベースのコーディングは、議論が口語的な言語によって特徴づけられるタスクでは人間のコーディングを上回りましたが、議論が専門的な科学用語や文脈を扱うタスクでは及ばないことがわかりました。
この発見は、研究者が CPS タスクからの通信データを効率的かつスケーラブルに分析するための戦略を開発するための実用的なガイドラインを提供します。
要約(オリジナル)
Collaborative problem solving (CPS) is widely recognized as a critical 21st century skill. Efficiently coding communication data is a big challenge in scaling up research on assessing CPS. This paper reports the findings on using ChatGPT to directly code CPS chat data by benchmarking performance across multiple datasets and coding frameworks. We found that ChatGPT-based coding outperformed human coding in tasks where the discussions were characterized by colloquial languages but fell short in tasks where the discussions dealt with specialized scientific terminology and contexts. The findings offer practical guidelines for researchers to develop strategies for efficient and scalable analysis of communication data from CPS tasks.
arxiv情報
| 著者 | Jiangang Hao,Wenju Cui,Patrick Kyllonen,Emily Kerzabi,Lei Liu,Michael Flor |
| 発行日 | 2024-11-15 14:57:39+00:00 |
| arxivサイト | arxiv_id(pdf) |
提供元, 利用サービス
arxiv.jp, Google