要約
この技術レポートでは、対話型チャットボット、データ注釈、メンタルヘルス分析などのさまざまなアプリケーションの基礎となる、テキストから感情を認識する ChatGPT の機能を調査します。
これまでの研究では、感情分析における ChatGPT の基本的な機能が示されていますが、より微妙な感情認識におけるそのパフォーマンスはまだ調査されていません。
ここでは、さまざまなデータセットと感情ラベルにわたる感情認識のパフォーマンスを評価する実験を実施しました。
私たちの調査結果は、そのパフォーマンスに妥当なレベルの再現性があり、微調整によって顕著な改善が見られることを示しています。
ただし、パフォーマンスは感情ラベルやデータセットによって異なり、固有の不安定性とバイアスの可能性が浮き彫りになります。
データセットと感情ラベルの選択は、ChatGPT の感情認識パフォーマンスに大きな影響を与えます。
この論文では、データセットとラベルの選択の重要性と、ChatGPT の感情認識機能を強化するための微調整の可能性に光を当て、ChatGPT を使用するアプリケーションで感情分析をより適切に統合するための基礎を提供します。
要約(オリジナル)
This technical report explores the ability of ChatGPT in recognizing emotions from text, which can be the basis of various applications like interactive chatbots, data annotation, and mental health analysis. While prior research has shown ChatGPT’s basic ability in sentiment analysis, its performance in more nuanced emotion recognition is not yet explored. Here, we conducted experiments to evaluate its performance of emotion recognition across different datasets and emotion labels. Our findings indicate a reasonable level of reproducibility in its performance, with noticeable improvement through fine-tuning. However, the performance varies with different emotion labels and datasets, highlighting an inherent instability and possible bias. The choice of dataset and emotion labels significantly impacts ChatGPT’s emotion recognition performance. This paper sheds light on the importance of dataset and label selection, and the potential of fine-tuning in enhancing ChatGPT’s emotion recognition capabilities, providing a groundwork for better integration of emotion analysis in applications using ChatGPT.
arxiv情報
| 著者 | Naoki Wake,Atsushi Kanehira,Kazuhiro Sasabuchi,Jun Takamatsu,Katsushi Ikeuchi |
| 発行日 | 2023-10-18 07:28:12+00:00 |
| arxivサイト | arxiv_id(pdf) |
提供元, 利用サービス
arxiv.jp, Google