Automated Coding of Communications in Collaborative Problem-solving Tasks Using ChatGPT

要約

共同問題解決（CPS）は、21世紀の重要なスキルとして広く認識されています。
CPSの評価は、コンストラクト関連フレームワークを使用して通信データのコーディングに大きく依存しており、このプロセスはそのような評価をスケーリングするための主要なボトルネックでした。
5つのデータセットと2つのコーディングフレームワークに基づいて、CHATGPTはCHATGPTモデル間でパフォーマンスが異なり、コーディングフレームワークとタスクの特性に依存しますが、通信データを満足のいくレベルにコーディングできることを実証します。
興味深いことに、GPT-O1-MINIやGPT-O3-MINIなどの新しい推論に焦点を当てたモデルは、必ずしもより良いコーディング結果をもたらすとは限りません。
さらに、このアプローチの有効性はすべてのタスクで一貫していないものの、誤ったケースからのフィードバックに基づいて洗練プロンプトがコーディングの精度を向上させる可能性があることを示しています。
これらの調査結果は、21世紀のスキル評価をサポートするコミュニケーションデータを分析するためのスケーラブルで効率的な方法を開発する際の研究者と実践者に実用的なガイダンスを提供します。

要約(オリジナル)

Collaborative problem solving (CPS) is widely recognized as a critical 21st-century skill. Assessing CPS depends heavily on coding the communication data using a construct-relevant framework, and this process has long been a major bottleneck to scaling up such assessments. Based on five datasets and two coding frameworks, we demonstrate that ChatGPT can code communication data to a satisfactory level, though performance varies across ChatGPT models, and depends on the coding framework and task characteristics. Interestingly, newer reasoning-focused models such as GPT-o1-mini and GPT-o3-mini do not necessarily yield better coding results. Additionally, we show that refining prompts based on feedback from miscoded cases can improve coding accuracy in some instances, though the effectiveness of this approach is not consistent across all tasks. These findings offer practical guidance for researchers and practitioners in developing scalable, efficient methods to analyze communication data in support of 21st-century skill assessment.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google