要約
タイトル：ChatGPTは優れた感情分析ツールなのか？予備的な研究
要約：
– ChatGPTは、研究コミュニティと一般から注目を集めている。
– この研究では、ChatGPTがテキストに含まれる意見、感情、感情を理解することができるかどうかについて予備的な評価を提供する。
– より具体的には、標準評価、極性シフト評価、オープンドメイン評価、感情推論評価の4つの設定でChatGPTを評価する。
– これには18のベンチマークデータセットと5つの代表的な感情分析タスクが含まれており、エンドタスクで細分化されたBERTと対応する最新状態のモデルと比較する。
– さらに、人間の評価を行い、その感情分析能力を深く理解するためにいくつかの質的なケーススタディを提供する。
要約(オリジナル)
Recently, ChatGPT has drawn great attention from both the research community and the public. We are particularly curious about whether it can serve as a universal sentiment analyzer. To this end, in this work, we provide a preliminary evaluation of ChatGPT on the understanding of opinions, sentiments, and emotions contained in the text. Specifically, we evaluate it in four settings, including standard evaluation, polarity shift evaluation, open-domain evaluation, and sentiment inference evaluation. The above evaluation involves 18 benchmark datasets and 5 representative sentiment analysis tasks, and we compare ChatGPT with fine-tuned BERT and corresponding state-of-the-art (SOTA) models on end-task. Moreover, we also conduct human evaluation and present some qualitative case studies to gain a deep comprehension of its sentiment analysis capabilities.
arxiv情報
| 著者 | Zengzhi Wang,Qiming Xie,Zixiang Ding,Yi Feng,Rui Xia |
| 発行日 | 2023-04-10 00:55:59+00:00 |
| arxivサイト | arxiv_id(pdf) |
提供元, 利用サービス
arxiv.jp, OpenAI