要約
本テクニカルレポートでは、対話型チャットボット、データアノテーション、メンタルヘルス分析など様々なアプリケーションの基礎となる、テキストからの感情認識におけるChatGPTの能力を調査します。先行研究では、感情分析におけるChatGPTの基本的な能力は示されているが、よりニュアンスのある感情認識における性能はまだ検討されていない。ここでは、異なるデータセットと感情ラベルを横断して感情認識の性能を評価する実験を行った。その結果、その性能は妥当なレベルの再現性を示し、微調整により顕著な改善が見られた。しかし、感情ラベルやデータセットが異なると性能は変化し、固有の不安定性とバイアスの可能性が浮き彫りになった。データセットと感情ラベルの選択は、ChatGPTの感情認識性能に大きく影響します。本論文は、ChatGPTの感情認識能力を向上させるためのデータセットとラベルの選択の重要性、および微調整の可能性に光を当て、ChatGPTを使用したアプリケーションにおける感情分析のより良い統合のための基盤を提供します。
要約(オリジナル)
This technical report explores the ability of ChatGPT in recognizing emotions from text, which can be the basis of various applications like interactive chatbots, data annotation, and mental health analysis. While prior research has shown ChatGPT’s basic ability in sentiment analysis, its performance in more nuanced emotion recognition is not yet explored. Here, we conducted experiments to evaluate its performance of emotion recognition across different datasets and emotion labels. Our findings indicate a reasonable level of reproducibility in its performance, with noticeable improvement through fine-tuning. However, the performance varies with different emotion labels and datasets, highlighting an inherent instability and possible bias. The choice of dataset and emotion labels significantly impacts ChatGPT’s emotion recognition performance. This paper sheds light on the importance of dataset and label selection, and the potential of fine-tuning in enhancing ChatGPT’s emotion recognition capabilities, providing a groundwork for better integration of emotion analysis in applications using ChatGPT.
arxiv情報
| 著者 | Naoki Wake,Atsushi Kanehira,Kazuhiro Sasabuchi,Jun Takamatsu,Katsushi Ikeuchi |
| 発行日 | 2023-12-04 09:05:05+00:00 |
| arxivサイト | arxiv_id(pdf) |