Assessing the Reliability and Validity of GPT-4 in Annotating Emotion Appraisal Ratings

要約

評価理論は、感情が評価と呼ばれるイベントの主観的評価から生じることを示唆しています。
評価の分類法は非常に多様であり、通常、経験者アノテーターまたはリーダーアノテーターのパラダイムで注釈を付けられるリッカートスケールでの評価が与えられます。
このホワイトペーパーでは、GPT-4は、異なるプロンプト設定での21の特定の評価評価の読者アノテーターとして、ヒトのアノテーターと比較してパフォーマンスを評価および改善することを目指しています。
GPT-4は、人間のアノテーターよりも近くまたはわずかに優れている効果的なリーダーアノテーターであり、5つの完了の過半数の投票を使用することにより、その結果を大幅に改善できることがわかりました。
GPT-4はまた、単一のプロンプトを使用して評価評価と感情ラベルを効果的に予測しますが、命令の複雑さを追加するとパフォーマンスが低下します。
また、イベントの説明が長くなると、モデルとヒトのアノテーターの両方の評価に対してより正確な注釈が得られることがわかりました。
この作業は、心理学におけるLLMSの使用の増加と、評価の注釈におけるGPT-4パフォーマンスを改善するための戦略に貢献します。

要約(オリジナル)

Appraisal theories suggest that emotions arise from subjective evaluations of events, referred to as appraisals. The taxonomy of appraisals is quite diverse, and they are usually given ratings on a Likert scale to be annotated in an experiencer-annotator or reader-annotator paradigm. This paper studies GPT-4 as a reader-annotator of 21 specific appraisal ratings in different prompt settings, aiming to evaluate and improve its performance compared to human annotators. We found that GPT-4 is an effective reader-annotator that performs close to or even slightly better than human annotators, and its results can be significantly improved by using a majority voting of five completions. GPT-4 also effectively predicts appraisal ratings and emotion labels using a single prompt, but adding instruction complexity results in poorer performance. We also found that longer event descriptions lead to more accurate annotations for both model and human annotator ratings. This work contributes to the growing usage of LLMs in psychology and the strategies for improving GPT-4 performance in annotating appraisals.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google